Memories.ai LVMM — AI 영상 분석 벤치마크 5관왕, 퀄컴·삼성 스마트폰 탑재 확정
Memories.ai의 LVMM(대규모 시각 기억 모델)이 영상 이해 벤치마크 5개에서 Gemini·GPT-4o를 제치고 1위를 기록했습니다. 2026년 퀄컴·삼성 기기에 탑재되며, 무료 체험도 가능합니다.
AI 영상 분석의 한계가 깨졌습니다. ChatGPT에 영상을 넣으면 3분짜리까지만 분석할 수 있고, 구글 Gemini도 1시간이 한계입니다. 그런데 AI 영상 분석 스타트업 Memories.ai의 LVMM(Large Visual Memory Model)은 영상 길이에 제한이 없습니다. 2시간짜리 영화든, 하루 종일 돌아가는 CCTV 녹화본이든 통째로 '기억'하고, "빨간 옷 입은 사람이 언제 나왔어?"라고 물으면 정확한 시점을 찾아줍니다.
엔비디아 GTC 2026에서 TechCrunch가 조명한 Memories.ai의 이야기입니다.
LVMM(대규모 시각 기억 모델)이란 — AI 영상 기억 기술의 핵심
Memories.ai의 핵심 기술은 LVMM(Large Visual Memory Model, 대규모 시각 기억 모델)입니다. 기존 AI가 영상을 프레임 단위로 쪼개서 보는 것과 달리, LVMM은 영상 전체의 맥락을 장기 기억처럼 유지합니다.
쉽게 비유하면 이렇습니다. ChatGPT에게 영상을 보여주는 것은 3분짜리 메모장을 주는 것과 같습니다. Gemini는 1시간짜리 메모장입니다. 하지만 Memories.ai는 무한대 크기의 메모장을 갖고 있어서, 아무리 긴 영상이라도 처음부터 끝까지 기억하면서 분석할 수 있습니다.
AI 영상 이해 벤치마크 5개에서 Gemini·GPT-4o 모두 제압
Memories.ai는 영상 이해 분야의 주요 벤치마크 5개 모두에서 1위를 기록했습니다. 단순히 "더 낫다"가 아니라, 구체적인 점수 차이가 상당합니다.
MVBench(영상 이해 종합): Memories.ai 78.7점 vs Gemini 2.5 Pro 64.6점 — 14.1점 차이
NextQA(영상 질의응답): Memories.ai 85.9점 vs Gemini 79.1점
Perception Test(인지 능력): Memories.ai 82.0점 vs Gemini 78.4점 vs GPT-4.1 64.8점
ActivityNetQA(행동 인식): Memories.ai 68.3점 vs Gemini 66.7점 vs GPT-4.1 60.4점
Temp Compass(시간 추론): Memories.ai 77.5점 vs Gemini 74.5점
특히 MVBench에서 14점 이상 차이가 나는 것은 영상의 전후 맥락을 이해하는 능력에서 확연한 차이가 있다는 뜻입니다. "이 사람이 문을 열기 전에 뭘 했어?"와 같은 시간 순서가 중요한 질문에서 훨씬 정확한 답을 내놓습니다.
퀄컴·삼성 파트너십 — 2026년 스마트폰 온디바이스 AI 탑재
가장 주목할 점은 LVMM 2.0입니다. Memories.ai는 퀄컴(Qualcomm)과 협력해 이 영상 기억 기술을 스마트폰, 카메라, 웨어러블 기기에 직접 탑재할 계획입니다. 2026년 내 퀄컴 칩이 들어간 기기에서 사용할 수 있게 됩니다.
삼성(Samsung)도 파트너로 이름을 올렸습니다. 이는 갤럭시 스마트폰이나 삼성 카메라에서 이 기술을 만나볼 가능성이 있다는 뜻입니다.
실제로 Memories.ai의 연구팀은 AR 글래스(증강현실 안경)에서 촬영한 1인칭 영상을 기억하고 검색하는 기술도 논문으로 발표한 바 있습니다. 안경을 쓰고 하루를 보낸 뒤, "오늘 점심에 만난 사람 이름이 적힌 명함이 어디 있었지?"라고 물으면 해당 장면을 찾아주는 것이 목표입니다.
Memories.ai 무료 사용법 — 가격과 주요 기능
기기 탑재는 2026년 후반이지만, 웹에서는 지금 바로 무료로 사용할 수 있습니다.
무료 티어: 가입 없이 매월 100크레딧 제공
Plus 요금제: 월 $20 (약 2만 7천 원)에 5,000크레딧
추가 크레딧: 2,000크레딧 $9.20부터 구매 가능
Memories.ai 공식 사이트에서 영상 URL을 넣거나 파일을 업로드하면 바로 분석이 시작됩니다. YouTube, TikTok, Instagram 등 15개 이상의 플랫폼 영상을 지원합니다.
주요 기능을 정리하면 이렇습니다.
영상 검색: "빨간 드레스 입은 사람"처럼 자연어로 영상 속 장면 검색
자동 자막·요약: 다국어 자막 생성, 긴 영상도 핵심만 요약
클립 추출: 원하는 장면을 AI가 찾아서 잘라줌
보안 분석: CCTV 영상에서 실시간 위협 감지, 인물 추적
AI 영상 분석 활용 사례 — 크리에이터, 마케터, 보안 담당자
영상 콘텐츠 크리에이터라면 — 긴 촬영 영상에서 하이라이트를 자동으로 찾아주니 편집 시간이 크게 줄어듭니다. "웃긴 장면만 모아줘"라고 입력하면 AI가 골라줍니다.
마케터라면 — Video Marketer 기능으로 경쟁사 영상과 내 영상의 성과를 비교 분석할 수 있습니다. 어떤 장면에서 시청자 반응이 좋았는지 AI가 파악해줍니다.
보안·안전 담당자라면 — 하루 종일 돌아가는 CCTV 영상을 일일이 확인하지 않아도 됩니다. "넘어진 사람 찾아줘"라고 하면 해당 시점을 바로 집어줍니다. SOC 2 Type II 인증과 GDPR(유럽 개인정보보호법) 준수도 완료했습니다.
GTC 2026에서 주목받은 이유 — AI 영상 분석의 미개척 영역
Memories.ai가 엔비디아 GTC 2026에서 조명받은 이유는 명확합니다. AI가 텍스트와 이미지를 잘 이해하게 된 것은 이미 증명됐지만, 영상은 여전히 미개척 영역이기 때문입니다.
영상은 데이터 양이 텍스트의 수백 배에 달하고, 시간 순서와 맥락이 중요합니다. 대형 AI 회사들도 영상 처리 시간에 한계를 두고 있는 이유입니다. Memories.ai가 이 한계를 깨고, 퀄컴·삼성이라는 하드웨어 거인과 손을 잡았다는 것은 — 곧 우리 주머니 속 스마트폰이 영상을 "기억하는 AI"를 갖게 된다는 뜻입니다.
Product Hunt에서 #1 오늘의 제품에 선정된 바 있고, 연구팀은 영상 이해 분야에서 9편의 학술 논문을 발표하며 기술력을 입증하고 있습니다.
AI 도구를 직접 활용하는 방법이 궁금하다면 무료 학습 가이드에서 단계별로 배워보시기 바랍니다.