내 스마트폰에서 AI가 혼자 '생각'한다 — 클라우드 없이, 정확도는 오히려 올랐습니다

ChatGPT나 Claude에게 복잡한 질문을 하면, AI가 속으로 '생각'하는 과정을 거칩니다. 이 과정을 체인 오브 소트(chain-of-thought, AI가 답을 내기 전에 단계별로 추론하는 과정)라고 부르는데, 문제는 이 '생각'이 너무 길다는 것입니다. 수학 문제 하나에 3천 단어 넘게 혼잣말을 하기도 합니다. 그래서 지금까지 이런 '생각하는 AI'는 거대한 클라우드 서버에서만 돌릴 수 있었습니다.

Qualcomm AI 연구팀이 이 문제를 풀었습니다. 18명의 연구진이 발표한 논문 'Efficient Reasoning on the Edge'에 따르면, AI의 사고 과정을 평균 2.4배, 최대 8배까지 압축하면서 정확도는 오히려 올리는 데 성공했습니다.

3,118단어가 810단어로 — 정답은 그대로

아래 예시를 보면 차이가 확연합니다. 같은 수학 문제를 풀 때, 기존 AI는 3,118개의 토큰(단어 조각)을 쏟아냈습니다. 맞는 답을 일찍 찾아놓고도 "혹시 모르니 다시 확인해보자"를 수천 단어에 걸쳐 반복했습니다. Qualcomm의 기술을 적용하면 810개 토큰으로 같은 정답에 도달합니다.

놀라운 점은 정확도가 떨어지기는커녕 올랐다는 것입니다. 수학 벤치마크 MATH500에서 기존 방식의 정확도는 82.7%였는데, Qualcomm의 압축 기술을 적용하면 88.3%로 5.6%포인트 상승했습니다. 쓸데없는 반복 추론을 잘라내니 오히려 헷갈림이 줄어든 셈입니다.

어떻게 가능한가 — 레고 블록처럼 조립하는 AI

Qualcomm의 접근법은 모듈형 설계입니다. 기존의 일반 AI 모델(Qwen2.5-7B)에 '추론 능력'을 LoRA 어댑터(기존 AI에 꽂아서 새 기능을 추가하는 작은 부품)로 붙입니다. 전체 모델을 다시 만드는 게 아니라, 파라미터의 4%만 추가 학습하면 됩니다.

핵심 기술 3가지를 정리하면 이렇습니다.

벤치마크 결과 — 짧아졌는데 더 정확하다

위 그래프를 보면, 초록색 선(Qualcomm 기술)이 빨간 점선(기존 방식)보다 훨씬 적은 단어 수로 더 높은 정확도를 달성합니다. 오른쪽 분포도에서 평균 압축 비율은 2.4배이고, 일부 문제에서는 6~8배까지 줄어드는 것을 확인할 수 있습니다.

4비트 양자화(AI 모델의 숫자 정밀도를 낮춰 크기를 줄이는 기술)까지 적용하면 정확도 손실은 약 2%에 불과하면서 모델 크기가 크게 줄어듭니다.

DeepSeek-R1급 추론이 내 스마트폰에서 돌아간다

현재 '생각하는 AI'의 대표격인 DeepSeek-R1은 671억 개의 파라미터를 가진 거대 모델로, 클라우드 서버 없이는 사용이 불가능합니다. Qualcomm의 기술은 70억 파라미터짜리 소형 모델에 추론 능력을 붙이되, 사고 과정을 압축해서 스마트폰에서 돌아가게 만든 것입니다.

연구팀은 실제로 이 시스템이 안드로이드 스마트폰에서 작동하는 데모 영상을 공개했습니다. Qualcomm GenAI Inference Engine(Genie)을 통해 배포되며, ONNX 포맷으로 모델을 내보내 스냅드래곤 칩에서 실행됩니다.

왜 중요한가 — 개인정보는 내 폰에 남는다

스마트폰에서 AI가 직접 추론할 수 있다는 것은 단순히 '인터넷 없이 쓸 수 있다'는 의미를 넘어섭니다.

현재 이 기술은 연구 단계이지만, Qualcomm이 스냅드래곤 칩을 탑재하는 삼성 갤럭시·샤오미·원플러스 같은 스마트폰에 탑재될 가능성이 높습니다. 논문은 arXiv에서 무료로 읽을 수 있습니다.

관련 콘텐츠 — Easy클코로 AI 시작하기 | 무료 학습 가이드 | AI 뉴스 더보기