마이크로소프트가 실시간 음성 에이전트를 만드는 데 쓸 모델 3종을 공개했습니다. MAI-Transcribe-2-Streaming은 60개 언어를 실시간으로 받아쓰며 음성을 받은 뒤 약 100ms 만에 첫 텍스트를 내고, MAI-Voice-2.1은 23개 언어를 같은 목소리로 말하며, MAI-Voice-2.1-Flash는 45초 분량 음성을 약 150ms 지연으로 만듭니다. 사람이 말을 끝내기 전부터 AI가 알아듣고 움직이게 해서, 듣고 판단하고 말하는 과정을 끊김 없이 잇는 데 초점을 맞췄습니다.
Microsoft AI는 한국 시간 10월 2일 01:15 18초 소개 영상과 함께 세 모델을 발표했습니다.
출처: X @MicrosoftAI
MAI-Transcribe-2-Streaming: 말이 끝나기 전에 받아쓰기 시작
MAI-Transcribe-2-Streaming은 60개 언어를 실시간으로 전사하고, 말하는 도중 언어가 바뀌어도 자동으로 계속 감지합니다. 말이 끝나길 기다리지 않고 오디오를 받은 지 100ms 남짓에 첫 추정 텍스트(partial)를 내며, 맥락이 더 들어오면 고쳐 가다 안정된 전사를 바로 확정합니다. 음성 에이전트는 문장 중간부터 추론하거나 도구를 호출할 수 있고, 실시간 자막은 말하는 대로 뜹니다. 실시간 받아쓰기와 자막에서는 마이크로소프트 내부 평가로 가장 가까운 경쟁 모델보다 단어가 2배 빨리 뜹니다.
Artificial Analysis 스트리밍 음성 인식 평가에서도 최종 전사와 첫 부분 전사 정확도 모두 1위에 올랐습니다.
출처: X @ArtificialAnlys
WER은 낮을수록 정확하며, 지연은 말이 끝난 뒤 텍스트가 나오기까지 걸린 시간입니다. Artificial Analysis 스트리밍 리더보드 기준입니다.
| 최종 전사 | WER | 지연 |
|---|---|---|
| MAI-Transcribe-2-Streaming (38개 모델 중 1위) | 2.5% | 0.13초 |
| Grok Voice Transcribe 2.0 | 2.7% | 0.49초 |
| Muse Voice Transcribe | 3.1% | 0.16초 |
| ElevenLabs Scribe v2 Realtime | 3.6% | 0.14초 |
| 첫 부분 전사 | WER | 지연 |
|---|---|---|
| MAI-Transcribe-2-Streaming | 2.5% | 0.12초 |
| Grok Voice Transcribe 2.0 | 3.4% | 0.49초 |
| Muse Voice Transcribe | 3.6% | 0.13초 |
| ElevenLabs Scribe v2 Realtime | 3.6% | 0.13초 |
도입 가격은 올해 말까지 오디오 1시간당 0.54달러(1,000분당 9달러)입니다.
MAI-Voice-2.1: 23개 언어를 한 목소리로
MAI-Voice-2.1은 23개 언어와 26개 로케일을 지원합니다. 한 목소리가 영어, 중국어, 독일어로 넘어가도 같은 사람 목소리로 남고, 언어마다 자연스러운 현지 억양으로 말합니다. 수업 중 언어를 바꿔도 선생님 목소리가 그대로인 튜터링 앱, 말을 건 언어로 같은 목소리가 답하는 다국어 비서, 모든 언어에서 브랜드 목소리를 유지하는 서비스에 쓸 수 있습니다. 가격은 100만 자당 22달러입니다.
MAI-Voice-2.1-Flash: 45초 음성을 150ms에
Flash는 같은 언어와 다국어 화자를 지원하면서 대량·저지연 작업용으로 다듬었습니다. 45초 분량 음성을 처음부터 끝까지 150ms 지연으로 만들고, 비교 모델보다 추론이 55% 빠르며 약 60% 저렴합니다. 가격은 100만 자당 15달러입니다.
두 음성 모델은 지원 언어 전체에서 몇 초 길이 참조 음성으로 목소리를 복제하며 동의 보호 장치가 내장돼 있고, Azure의 음성 프롬프트는 5~60초 참조 클립을 쓰는 제한 접근 기능으로 승인을 받은 뒤 사용할 수 있습니다.
듣고, 판단하고, 말하는 음성 에이전트
음성 에이전트는 듣고, 이해하고, 결정하고, 말하는 루프를 사람이 대화로 느끼는 시간 안에 이어야 합니다. Transcribe-2-Streaming과 Voice-2.1-Flash를 짝지으면 듣는 쪽과 말하는 쪽 양 끝에서 시간을 벌고, 그만큼 에이전트가 추론하고 도구를 쓰고 답을 확인할 여유가 생깁니다.
- 말하는 대로 받아 적고 통화가 끝나기 전에 필요한 작업을 시작하는 고객 상담 에이전트
- 말한 언어를 알아듣고 23개 언어 중 그 언어로 같은 목소리로 답하는 다국어 비서
- 튜터링·롤플레이·내레이션에서 화자를 나눠 쓰는 학습·미디어 서비스
가격과 쓸 수 있는 곳
| 모델 | 하는 일 | 가격 |
|---|---|---|
| MAI-Transcribe-2-Streaming | 실시간 받아쓰기 | 시간당 0.54달러(연말까지 도입가) |
| MAI-Voice-2.1 | 다국어 음성 생성 | 100만 자당 22달러 |
| MAI-Voice-2.1-Flash | 빠른 음성 생성 | 100만 자당 15달러 |
| 제공처 | 모델·접근 방법 |
|---|---|
| Microsoft Foundry | 세 모델 모두 제공. 전사 문서, 음성 문서 |
| Azure Voice Live | 세 모델 제공 |
| Vercel AI Gateway | 세 모델 모두 제공. 예: microsoft/mai-transcribe-2-streaming |
| OpenRouter | Voice-2.1과 Flash: microsoft/mai-voice-2.1, microsoft/mai-voice-2.1-flash |
| LiveKit | 세 모델 곧 지원 |
| MAI Playground | Chatter 데모에서 세 모델이 함께 도는 음성 에이전트를 체험 |
