LLM Architecture Gallery: AI 모델 43종 내부 구조 무료 비교 도감
세바스찬 라쉬카가 공개한 LLM Architecture Gallery에서 ChatGPT, DeepSeek, Llama 등 AI 모델 43종의 아키텍처를 무료로 비교할 수 있습니다. MoE, MLA 등 2026년 핵심 트렌드를 시각적으로 정리한 최고의 학습 자료입니다.
요즘 뉴스에 나오는 AI 모델들 — Llama, DeepSeek, Qwen, GPT — 이름은 많이 들어봤는데, 도대체 뭐가 다른 걸까요? AI 분야의 대표적인 교육자 세바스찬 라쉬카(Sebastian Raschka)가 43종의 LLM(대규모 언어 모델) 내부 아키텍처를 한눈에 비교할 수 있는 무료 시각 도감, LLM Architecture Gallery를 공개했습니다. 3월 14일 공개 직후 Hacker News에서 216포인트를 기록하며 개발자·연구자 커뮤니티에서 큰 주목을 받고 있습니다.
LLM 아키텍처 갤러리 — AI 모델의 '해부도'를 한곳에 모았다
우리가 매일 쓰는 ChatGPT, Claude, Gemini 같은 AI 서비스의 핵심에는 대규모 언어 모델(LLM, Large Language Model)이 있습니다. 사람의 언어를 이해하고 생성하는 이 AI 기술은 겉으로 보면 비슷해 보이지만, 내부 설계 — 이른바 '아키텍처(Architecture, 건축 설계도처럼 AI의 내부 구조를 말합니다)' — 는 제각각입니다.
세바스찬 라쉬카는 이 차이를 컬러 다이어그램으로 시각화해서, 전공자가 아니어도 "아, 이 모델은 이렇게 생겼구나"를 직관적으로 이해할 수 있게 만들었습니다. AI의 기초 개념이 궁금하다면 AI 기초 학습 가이드에서 먼저 살펴보는 것도 좋습니다.
▲ 43종의 AI 모델 내부 구조를 한 화면에 펼쳐놓은 LLM Architecture Gallery. 각 모델별로 색상이 달라 한눈에 비교할 수 있습니다.
Dense부터 MoE까지 — AI 모델 43종 아키텍처 유형별 비교
갤러리에 포함된 43종의 모델은 크게 네 가지 유형으로 나뉩니다:
🔵 기본형 (Dense 모델)
Llama 3, OLMo 2·3, Gemma 3, SmolLM3 등
모든 부품을 한꺼번에 작동시키는 전통적 방식입니다. 소형~중형 모델에 주로 사용됩니다.
🟣 전문가 혼합형 (MoE, Mixture of Experts)
DeepSeek V3, Llama 4 Maverick, Qwen3 235B, GPT-OSS 등
여러 '전문가' 중 필요한 몇 명만 골라 쓰는 방식입니다. 예를 들어 DeepSeek V3는 총 6,710억 개의 부품이 있지만, 한 번에 370억 개만 작동시켜 전기 요금을 대폭 절약합니다.
🟢 하이브리드 주목형 (Hybrid Attention)
Qwen3 Next, Kimi Linear, Nemotron 3 시리즈 등
긴 문서를 읽을 때 전부 꼼꼼히 보는 대신 핵심만 빠르게 훑는 기술을 섞어 속도와 정확도를 동시에 잡습니다.
🟠 초대형 모델 (Trillion-Scale)
Kimi K2 (1조 개), GLM-5 (7,440억 개), Grok 2.5 (2,700억 개)
수천억~1조 개의 파라미터를 가진 거대 모델들입니다. 이런 모델의 내부를 도식으로 비교할 수 있는 건 이 갤러리가 처음입니다.
▲ Llama, Qwen, SmolLM, DeepSeek, Kimi K2 등 대표 모델의 상세 구조 비교. 각 블록의 역할과 연결 방식이 다르다는 것을 시각적으로 확인할 수 있습니다.
Transformer 아키텍처 7년의 진화 — 놀라운 발견
이 갤러리에서 가장 흥미로운 점은, 43종을 나란히 놓고 보면 생각보다 비슷하다는 사실입니다.
Hacker News 댓글에서 한 사용자는 이렇게 말했습니다: "놀랍게도 주요 차이점은 레이어의 크기뿐이다." 라쉬카 본인도 원문에서 "7년 전 GPT 이후로 Transformer의 근본적 구조가 정말 바뀐 걸까, 아니면 같은 기반을 다듬고 있는 것일까?"라는 질문을 던집니다.
이것이 의미하는 바는 명확합니다: AI의 비약적 발전은 설계의 혁명이 아니라, 데이터·학습 방법·규모의 혁명이었다는 것입니다. 좋은 레시피를 가진 셰프가 더 좋은 재료를 쓰고, 더 큰 주방에서 일하게 된 것에 가깝습니다.
2026년 LLM 설계 트렌드 3가지 — MoE, MLA, Hybrid Attention
물론 세부적으로는 중요한 변화들이 있습니다. 갤러리에서 확인할 수 있는 2026년 핵심 트렌드입니다:
1. MoE(Mixture of Experts) 아키텍처의 대세화
DeepSeek V3가 촉발한 트렌드입니다. 전체 부품 중 일부만 골라 쓰기 때문에, 1조 개 규모의 모델도 실제 연산량은 소형 모델 수준입니다. 이 방식 덕분에 오픈소스 진영이 거대 모델 경쟁에 본격 참전할 수 있게 되었습니다.
2. MLA(Multi-head Latent Attention)의 확산
AI가 이전 대화 내용을 기억하는 데 쓰는 메모리(KV 캐시)를 압축하는 기술입니다. DeepSeek이 처음 도입했고, 이제 Kimi K2, GLM-5 등 대형 모델들이 속속 채택하고 있습니다. 같은 하드웨어로 더 긴 대화가 가능해집니다.
3. Hybrid Attention — 하이브리드 어텐션의 실험
긴 문서를 처리할 때 기존 방식(모든 단어를 서로 비교)은 너무 느립니다. Qwen3 Next, Kimi Linear 같은 최신 모델은 '빠른 훑기'와 '정밀 읽기'를 섞어 쓰는 하이브리드 방식을 실험 중입니다.
▲ 2026년 1~2월에 공개된 10종의 오픈소스 AI 모델 구조와 벤치마크 성능 비교. MiniMax-M2.5(230B)와 GLM-5(744B)의 MoE 구조 차이가 명확히 보입니다.
세바스찬 라쉬카(Sebastian Raschka) — Build an LLM From Scratch 저자
이 갤러리를 만든 세바스찬 라쉬카는 AI/머신러닝 분야에서 가장 영향력 있는 교육자 중 한 명입니다. 위스콘신대 교수 출신으로, 베스트셀러 "Build an LLM From Scratch"(처음부터 만드는 대규모 언어 모델)의 저자이기도 합니다. HN 댓글에서도 "라쉬카의 책은 LLM을 이해하는 데 최고의 자료"라는 추천이 이어졌습니다.
LLM Architecture Gallery 무료로 둘러보기
갤러리는 완전 무료이며 별도 가입 없이 웹 브라우저에서 바로 볼 수 있습니다:
👉 LLM Architecture Gallery 바로가기
각 모델 다이어그램을 클릭하면 상세 팩트 시트(모델 크기, 학습 방법, 원논문 링크 등)를 볼 수 있습니다.
AI에 관심은 있지만 "모델마다 뭐가 다른 거야?"라는 궁금증이 있었다면, 이 갤러리가 가장 직관적인 답을 줍니다. 포스터 형태(14,570×12,490 픽셀, 56MB)로도 제공되니, 사무실이나 스터디룸에 걸어두기에도 좋습니다.
AI의 기본 개념부터 실전 활용까지 체계적으로 배우고 싶다면 무료 학습 가이드를 확인해보십시오.
출처