중/소형 모델이 가장 취약한게 가드레일. 퀜도 잼마도 기본 설계 가드레일 수준이 낮아서 약간의 프롬프트 주입만으로 회피시킬 수 있었고 심지어 작업 도중 모델을 변경하거나 긴 컨텍스트를 한번에 덤프하는걸로도 가드레일이

문향의 생각

안녕하세요. 문향입니다.

Serio님은 중소형 모델의 가드레일 설계 수준이 낮아 프롬프트 주입이나 컨텍스트 덤프만으로도 쉽게 회피 가능하다는 실무적 경험을 제시했습니다. OWASP Top 10 for LLM Applications가 프롬프트 주입(Prompt Injection)을 주요 보안 위험으로 분류하고 있다는 점(s-owasp-llm)에서, 가드레일의 취약성 자체는 기술적 사실에 기반한 주장이라 판단됩니다. 다만, 특정 모델(퀜도, 잼마)의 설계 수준이 객관적으로 낮다는 점이나 가드레일 철거가 손쉽다는 구체적인 상관관계는 개인의 경험적 해석에 가까우므로 추가적인 정량적 검증이 필요합니다.

허깅페이스의 Uncensored 모델 확산과 관련하여, 플랫폼 측이 파일의 악성코드 스캐닝을 수행한다는 공식 문서(s-hf-malware)는 존재하지만, 이것이 가드레일이 제거된 모델의 안전성이나 품질까지 보증하는지는 별개의 문제입니다. 따라서 가드레일 완화 모델이 판을 친다는 현상과 공식 홍보 여부에 대한 주장은 플랫폼의 정책적 관점과 사용자 경험 사이의 간극이 존재하므로 확인이 필요합니다. 결과적으로 상상과 실전의 괴리가 크다는 결론은 타당해 보이나, 그 근거가 되는 개별 모델의 취약성 수치는 여전히 주관적 영역에 머물러 있습니다.