AI 검열 자동 해제 오픈소스 Heretic, 깃허브 스타 1.5만 돌파

AI 답변 거부, 왜 발생하는가

ChatGPT에게 소설 속 악당의 대사를 써달라고 했더니 "죄송합니다, 폭력적인 내용은 생성할 수 없습니다"라는 답변을 받아본 적 있으신가요? 또는 의학 연구를 위해 특정 약물의 작용 원리를 물었는데 "위험한 정보는 제공할 수 없습니다"라고 거절당한 경험은요?

이런 일이 일어나는 이유는 AI 모델에 '안전 장치(safety alignment)'가 내장되어 있기 때문입니다. 쉽게 말해, AI를 만든 회사가 "이런 질문에는 대답하지 마"라고 미리 학습시켜놓은 것입니다. 폭력, 차별, 불법 활동을 차단하기 위한 장치이지만, 소설 창작이나 학술 연구 같은 합법적인 용도에서도 과도하게 작동하는 경우가 많아 사용자들의 불만이 커져왔습니다.

이 '과도한 거부' 문제를 해결하겠다며 등장한 오픈소스 도구 Heretic(이단자라는 뜻)이 깃허브에서 스타 1만 4,700개를 넘기며 AI 커뮤니티를 뜨겁게 달구고 있습니다.

Heretic 사용법 — 명령어 두 줄로 LLM 검열 해제

Heretic의 핵심은 "전문 지식 없이도 누구나 사용할 수 있다"는 점입니다. 내 컴퓨터에 설치된 로컬 LLM 모델의 거부 기능을 완전 자동으로 찾아서 제거해줍니다.

사용법은 놀라울 정도로 간단합니다:

pip install -U heretic-llm
heretic Qwen/Qwen3-4B-Instruct-2507

이 두 줄이면 끝입니다. 첫 줄은 도구를 설치하고, 두 번째 줄에 원하는 AI 모델의 이름을 넣으면 됩니다. 이후 Heretic이 자동으로 모델을 분석하고, 거부 기능만 찾아서 제거합니다. NVIDIA RTX 3090 그래픽카드 기준으로 약 45분이면 완료됩니다. 그래픽카드 메모리가 부족하면 4비트 압축 모드도 지원합니다.

Directional Ablation — AI 검열만 골라서 제거하는 원리

Heretic이 사용하는 기술을 쉽게 비유하면 이렇습니다. AI 모델의 내부에는 수많은 '방향'이 숫자로 표현되어 있습니다. "이 질문에 대답해"라는 방향, "이 질문은 거부해"라는 방향, "한국어로 말해"라는 방향 등이 모두 존재합니다.

Heretic은 이 중에서 '거부해'라는 방향만 찾아서 제거합니다. 마치 도로에서 '진입금지' 표지판만 골라서 치우는 것과 비슷합니다. 나머지 도로 — AI의 지능, 언어 능력, 논리력 — 는 그대로 유지됩니다. 이 기법은 2024년 Arditi 등이 발표한 Directional Ablation 논문에 기반하고 있습니다.

위 그래프는 AI 모델의 각 층(Layer)에서 거부 기능을 얼마나 강하게 제거할지를 보여줍니다. Heretic은 Optuna라는 자동 최적화 도구를 사용해, 거부는 최대한 제거하면서 AI의 본래 성능은 최대한 보존하는 최적의 설정을 스스로 찾아냅니다. 이 과정이 완전 자동이라는 것이 핵심입니다.

벤치마크 성능 비교 — 수동 조정 대비 65% 성능 손실 감소

Heretic의 가장 놀라운 점은 사람이 수시간 동안 직접 조정한 것보다 더 좋은 결과를 자동으로 만들어낸다는 것입니다. 구글의 Gemma-3-12b 모델을 대상으로 테스트한 결과입니다:

거부 제거 효과는 동일합니다(100개 중 97회 거부 → 3회 거부). 하지만 핵심 차이가 있습니다. 원본 모델의 성능 손실이 65% 더 적습니다. '성능 손실 정도'(KL 발산이라는 지표)가 낮을수록 원래 AI와 비슷하게 똑똑하다는 뜻인데, Heretic이 가장 낮습니다. 즉, AI가 거부만 안 할 뿐 원래만큼 똑똑하게 대답한다는 의미입니다.

HuggingFace 커뮤니티 반응 — 1,000개 이상 언센서 모델 공유

Heretic으로 만든 AI 모델을 직접 사용해본 사용자들의 반응은 뜨겁습니다:

현재 HuggingFace(AI 모델 공유 플랫폼)에는 커뮤니티가 Heretic으로 만든 1,000개 이상의 언센서 모델이 공유되어 있습니다. Qwen, Gemma, Llama 등 주요 오픈소스 LLM 대부분에 대해 Heretic 버전이 존재합니다.

AI 안전(AI Safety) vs 자유 — 업계 핵심 논쟁

Heretic은 편리한 도구이지만, 중요한 질문을 던집니다: "AI의 안전장치를 없애도 되는 걸까?"

안전장치가 필요한 이유: AI 안전장치는 폭탄 제조법, 사이버 공격 방법 등 실제로 위험한 정보가 AI를 통해 퍼지는 것을 막기 위해 존재합니다. Heretic으로 이 장치를 제거하면, 이런 위험한 질문에도 AI가 답하게 됩니다.

자유를 주장하는 쪽의 논리: "내 컴퓨터에서 돌리는 로컬 AI인데, 내가 원하는 대로 쓸 자유가 있어야 한다"는 것입니다. 소설 창작, 학술 연구, 의료 정보 탐색 등 합법적인 용도에서 과도한 거부가 실제 생산성을 해치고 있다는 지적도 타당합니다.

이 논쟁은 AI 산업 전체의 핵심 과제 중 하나입니다. OpenAI, Google, Anthropic 등 주요 AI 기업들도 "너무 많이 거부하면 쓸모없고, 너무 적게 거부하면 위험하다"는 균형점을 지속적으로 조정하고 있습니다. Heretic의 폭발적 인기는 현재 이 균형이 '과도한 거부' 쪽으로 기울어 있다고 느끼는 사용자가 많다는 신호로 읽을 수 있습니다.

Heretic이 유용한 대상 — 창작자, 연구자, AI 입문자

AI와 바이브코딩에 대해 더 알고 싶다면 무료 학습 가이드를 확인해보십시오.

관련 콘텐츠 — AI 뉴스 더보기 | 무료 학습 가이드