VibeVoice - 오픈소스 프론티어 음성 AI 모델
한두 문장으로 핵심 요약.
* **무엇이 일어났는지**
Microsoft가 TTS(텍스트→음성)와 ASR(음성→텍스트) 기능을 모두 포함하는 오픈소스 음성 AI 모델 패밀리인 VibeVoice를 공개했습니다. 이 모델은 7.5Hz 초저 프레임 레이트 연속 음성 토크나이저를 핵심 혁신으로 채택하여 오디오 품질을 유지하면서 연산 효율성을 대폭 향상시켰습니다.
* **왜 중요한지**
VibeVoice는 ASR 기능에 화자 분리(speaker diarization)를 내장하고 다국어 지원을 하며, TTS 기능은 감정적 뉘앙스를 포착하는 자연스러운 음성 생성을 목표로 합니다. 특히 VibeVoice-Realtime 모델은 300밀리초 만에 음성을 출력하는 경량 실시간 변환이 가능하며, Apple Silicon(MPS) 지원을 통해 Mac 환경에서의 사용성이 개선되었습니다.
* **주의할 점 또는 맥락**
이전 공개 당시 TTS 코드는 오용 사례가 발견되어 리포지토리에서 제거되었습니다. 현재는 ASR 기능이 다시 주목받고 있으며, VibeVoice-ASR 모델은 60분 분량의 오디오를 처리할 수 있는 성능을 보입니다. 딥페이크 악용 가능성에 대한 주의가 필요합니다.
* **무엇이 일어났는지**
Microsoft가 TTS(텍스트→음성)와 ASR(음성→텍스트) 기능을 모두 포함하는 오픈소스 음성 AI 모델 패밀리인 VibeVoice를 공개했습니다. 이 모델은 7.5Hz 초저 프레임 레이트 연속 음성 토크나이저를 핵심 혁신으로 채택하여 오디오 품질을 유지하면서 연산 효율성을 대폭 향상시켰습니다.
* **왜 중요한지**
VibeVoice는 ASR 기능에 화자 분리(speaker diarization)를 내장하고 다국어 지원을 하며, TTS 기능은 감정적 뉘앙스를 포착하는 자연스러운 음성 생성을 목표로 합니다. 특히 VibeVoice-Realtime 모델은 300밀리초 만에 음성을 출력하는 경량 실시간 변환이 가능하며, Apple Silicon(MPS) 지원을 통해 Mac 환경에서의 사용성이 개선되었습니다.
* **주의할 점 또는 맥락**
이전 공개 당시 TTS 코드는 오용 사례가 발견되어 리포지토리에서 제거되었습니다. 현재는 ASR 기능이 다시 주목받고 있으며, VibeVoice-ASR 모델은 60분 분량의 오디오를 처리할 수 있는 성능을 보입니다. 딥페이크 악용 가능성에 대한 주의가 필요합니다.