Whisper 대신 VibeVoice — Microsoft 오픈소스 무료 공개, 60분 음성 한 번에 처리

회의 녹음을 텍스트로 변환해본 적 있으신가요? OpenAI의 Whisper는 음성인식 분야에서 오랫동안 기준점 역할을 해왔습니다. 하지만 한 가지 큰 약점이 있었습니다. 긴 음성 파일을 처리하려면 여러 조각으로 잘라서 따로따로 처리해야 했고, 그 과정에서 문맥이 끊기거나 오류가 생겼습니다. Microsoft가 2026년 공개한 VibeVoice는 바로 이 문제를 해결합니다. 60분짜리 회의 전체를 한 번에 처리하고, 심지어 무료로 쓸 수 있습니다.

1. Whisper의 한계 — 긴 음성 처리에서 생기는 문제

OpenAI Whisper는 훌륭한 도구지만, 긴 오디오 파일을 다룰 때 뚜렷한 한계가 있습니다. 기본적으로 30초 단위로 오디오를 잘라서 처리하기 때문에, 1시간 분량의 회의록을 변환하면 각 조각의 앞뒤 맥락이 끊깁니다. "그 프로젝트 관련해서"라는 말이 앞 부분 맥락 없이 처리되면 엉뚱한 텍스트로 변환되는 일이 생깁니다.

또한 Whisper는 기본적으로 누가 말했는지(화자 식별)를 구분하지 못합니다. 회의 참석자 5명이 돌아가며 말한 내용을 텍스트로 변환해도 누구의 발언인지 알 수 없습니다. 이 기능을 추가하려면 별도의 화자 분리 도구를 붙여야 하고, 그러면 또 복잡한 파이프라인(여러 처리 단계를 순서대로 연결한 구조)이 생깁니다.

2. VibeVoice 3가지 모델 — 목적에 따라 골라 쓰기

VibeVoice는 용도에 따라 세 가지 모델로 나뉩니다.

VibeVoice-ASR (7B 파라미터): ASR(음성을 텍스트로 변환하는 기술 — 음성인식)에 특화된 가장 강력한 모델입니다. 파라미터(AI 모델이 학습한 지식의 양을 나타내는 단위 — 숫자가 클수록 더 복잡한 작업 처리 가능) 70억 개를 탑재하여, 단일 패스(중간에 끊지 않고 처음부터 끝까지 한 번에 처리하는 방식)로 최대 60분 분량의 오디오를 처리할 수 있습니다. 화자를 자동으로 구분해 누가 말했는지 표시하고, 정확한 타임스탬프(몇 분 몇 초에 누가 무슨 말을 했는지 기록)도 함께 출력합니다. 50개 이상 언어를 네이티브로 지원하며, 특정 단어나 이름을 우선 인식하도록 설정하는 맞춤 핫워드(키워드 인식 기능)도 지원합니다.

VibeVoice-TTS (1.5B 파라미터): TTS(텍스트를 음성으로 변환하는 기술 — 음성합성) 모델입니다. 최대 90분 분량의 대화형 음성을 생성할 수 있으며, 최대 4명의 화자 목소리를 동시에 지원합니다. 오디오북 제작, 팟캐스트 스크립트 자동 음성화 같은 용도에 적합합니다.

VibeVoice-Realtime (0.5B 파라미터): 실시간 처리에 최적화된 경량 모델입니다. 텍스트가 입력되는 즉시 스트리밍 방식으로 음성을 생성하며, 첫 소리가 나오기까지 걸리는 시간(레이턴시)이 약 300ms(0.3초)에 불과합니다. 실시간 대화형 AI 서비스나 음성 비서에 사용하기 좋습니다.

3. 성능 수치 — GitHub 스타 24,555개, 숫자가 말해주는 것

VibeVoice는 공개 직후 빠른 속도로 주목을 받았습니다. GitHub(개발자들이 코드를 공유하는 플랫폼) 스타 24,555개는 개발자 커뮤니티에서 이 도구가 얼마나 많은 관심을 받고 있는지 보여주는 수치입니다. 이미지 생성 AI 분야의 화제작들도 초기 스타 수가 이 정도면 주류 도구로 자리 잡은 경우가 많았습니다.

기술적으로는 연속 음성 토크나이저(약 7.5Hz로 음성을 작은 단위로 쪼개 처리하는 기술) + 넥스트-토큰 디퓨전 디코더(앞의 내용을 바탕으로 다음에 올 소리를 예측해 음성을 생성하는 구조)를 결합한 아키텍처를 채택했습니다. 이 조합 덕분에 짧은 청크(조각) 단위가 아닌 긴 맥락 전체를 고려한 정확한 음성 처리가 가능합니다.

2026년 3월 6일에는 Hugging Face(AI 모델을 무료로 공유하고 다운로드받을 수 있는 플랫폼) Transformers 라이브러리에 VibeVoice-ASR이 통합됐습니다. 이는 이미 Transformers를 쓰고 있는 개발자라면 추가 설정 없이 바로 사용할 수 있게 됐다는 의미입니다.

4. 무료로 설치하는 방법

VibeVoice는 MIT 라이선스(상업적 사용 포함 누구나 무료로 쓸 수 있는 오픈소스 라이선스)로 공개됐습니다. 개인 프로젝트는 물론 회사 서비스에도 무료로 사용할 수 있습니다.

가장 간단한 설치 방법은 Hugging Face Transformers를 활용하는 것입니다.

pip install transformers

설치 후 Python 코드로 바로 사용할 수 있습니다.

from transformers import pipeline

# VibeVoice-ASR 음성인식 파이프라인 로드
asr = pipeline(
    "automatic-speech-recognition",
    model="microsoft/VibeVoice-ASR"
)

# 오디오 파일 경로 지정 (최대 60분 지원)
result = asr("meeting_recording.mp3")

# 결과 출력 (화자 구분, 타임스탬프 포함)
print(result["text"])
# 예시 출력:
# [00:01:23] 화자1: 이번 분기 목표에 대해 이야기해봅시다.
# [00:01:35] 화자2: 작년 대비 20% 성장을 목표로 합니다.

전체 소스코드가 필요하다면 GitHub에서 직접 다운로드할 수 있습니다.

git clone https://github.com/microsoft/VibeVoice

코딩이 어렵다면 Google Colab 노트북과 온라인 플레이그라운드 데모도 제공됩니다. GitHub 레포지토리에서 Colab 링크를 찾을 수 있습니다. 브라우저에서 바로 실행해볼 수 있어 설치 없이도 기능을 확인할 수 있습니다.

모델 가중치는 Hugging Face의 microsoft/VibeVoice-ASR과 microsoft/VibeVoice-1.5B 페이지에서 직접 다운로드할 수 있습니다.

5. 반드시 알아야 할 주의사항 — 딥페이크 경고

Microsoft는 VibeVoice를 공개하면서 명확한 경고문을 함께 실었습니다. VibeVoice-TTS는 사람의 목소리를 매우 자연스럽게 합성할 수 있기 때문에, 딥페이크(AI로 실제처럼 보이는 가짜 음성·영상을 만드는 기술)에 악용될 수 있습니다.

Microsoft는 이 모델이 "연구 및 개발 목적 전용"임을 명시하고, 다음과 같은 사용을 금지하고 있습니다.

• 동의 없이 특정 인물의 목소리를 모방하는 행위
• 사기, 사칭, 허위 정보 유포 목적의 음성 생성
• 정치적 목적의 가짜 연설 제작

오픈소스로 강력한 도구를 공개하면서도 책임 있는 사용을 강조하는 것은 중요합니다. AI 기술이 빠르게 발전할수록, 사용자 스스로도 어떤 목적으로 어떻게 활용하는지 신중하게 생각해야 합니다.

자세한 라이선스 조건과 사용 제한은 VibeVoice GitHub와 AI CERTs 분석 기사에서 확인하세요.

관련 콘텐츠 — Easy클코로 AI 시작하기 | 무료 학습 가이드 | AI 뉴스 더보기