말이 끝나기 전에 자막이 나온다…마이크로소프트 음성 AI 3종 공개⚡

말이 채 끝나기도 전에 자막이 올라옵니다 ⚡

마이크로소프트 AI가 10월 1일, 실시간 음성 인식 모델 MAI-Transcribe-2-Streaming과 음성 합성 모델 MAI-Voice-2.1, 고속 버전 MAI-Voice-2.1-Flash를 한꺼번에 공개했어요.

한쪽은 실시간 받아쓰기, 한쪽은 23개 언어 말하기. 음성 AI 에이전트의 '귀'와 '입'을 같이 내놓은 발표입니다 👀

💬 말이 이어지는 동안 글도 이어진다

실시간 자막의 고질병은 한 박자 늦음이에요. 상대가 문장을 다 끝내야 텍스트가 화면에 붙죠. 이번 모델은 오디오를 받자마자 100ms 조금 넘게 첫 부분 자막(partial)을 내놓고, 말이 이어지면서 고쳐 나가다가 안정된 문장으로 확정합니다.

Rather than waiting for someone to finish speaking before returning text, it produces its first hypotheses in just over 100ms of receiving audio.

마이크로소프트 AI 공식 발표 (2026.10.1)

그래서 가능한 게 두 가지예요. 음성 에이전트가 상대가 문장 중간에서 흘리듯 말한 요청을 듣자마자 도구를 호출하거나 답을 준비할 수 있고, 실시간 자막은 말과 동시에 올라옵니다. 마이크로소프트 내부 평가에서는 가까운 경쟁 모델보다 단어가 2배 빨리 자막에 잡혔다고 해요.

정확도도 빠뜨릴 수 없죠. Artificial Analysis 음성 인식 정확도 순위에서 최종 자막·부분 자막 모두 1위에 올랐고, 언어는 60개까지 자동 감지로 지원합니다. 정확도와 지연 시간을 함께 본 평가에서도, 높은 정확도가 곧 느린 지연을 뜻하지는 않는다고 발표했어요.

• 첫 자막까지 ~120ms, 종단 지연 ~128ms의 실시간 스트리밍
• 60개 언어 지원 + 말이 바뀔 때마다 이어지는 자동 언어 감지
• Artificial Analysis 정확도 리더보드 1위 (최종·부분 자막)
• 파일 받아쓰기 버전 MAI-Transcribe-2는 화자 구분·단어 단위 타임스탬프·전문 용어 키워드 보정 내장
• 응용 분야: 실시간 자막, 통화 분석, 접근성, 콘텐츠 작업

🗣️ 한 목소리로 23개 언어를 말한다

이번에 함께 나온 MAI-Voice-2.1은 마이크로소프트 AI의 가장 강력한 다국어 음성 합성 모델이에요. 23개 언어·26개 로케일을 지원하고, 핵심은 '같은 사람'입니다. 한 목소리로 영어를 말했다가 중국어, 독일어로 바꿔도 발음이 그 사람의 억양으로 자연스럽게 넘어가요.

MAI-Voice-2.1-Flash는 그 압축판입니다. 45초 분량 오디오를 끝에서 끝까지 150ms 만에 만들어 내고, 모델 추론은 55% 빨라졌으며, 비슷한 모델 대비 약 60% 저렴합니다. 고객 응대나 음성 비서처럼 '답이 늦으면 대화가 어색해지는' 자리에 맞췄죠.

두 음성 모델 모두 한국어를 포함하며, 지원 언어 어디서든 몇 초 분량의 참고 음성만으로 목소리를 클로닝할 수 있습니다. 다만 무단 사용을 막기 위한 동의 확인 안전장치가 함께 들어 있어요. 음성 샘플을 들어 보면 '광고 문구를 읽는 사람' 같은 역할 표현도 꽤 자연스럽습니다.

📝 일반인은 어디에 써 볼까

제가 눈여겨본 건 실시간 자막이에요. 유튜브 라이브나 온라인 강의, 온라인 회의에서 말이 나가는 즉시 자막이 붙는 흐름을 만들 수 있고, 60개 언어 자동 감지 덕분에 한국어·영어가 섞인 자리에서도 언어를 손으로 고르지 않아도 됩니다.

영상 제작자에게는 더빙이 편해집니다. 같은 목소리로 한국어 영상을 영어·일본어 버전으로 바로 뽑아낼 수 있으니, 채널 하나를 여러 언어로 운영할 때 목소리를 매번 바꿀 필요가 없어요. 콘텐츠 제작·오디오북·내레이션은 공식 안내에서 MAI-Voice-2.1의 적합한 용도로 꼽혔습니다.

다만 하나는 분명히 해 두고 싶어요. 이번 3종은 개발자용 API·플레이그라운드 모델입니다. 스마트폰 앱에 바로 설치해 쓰는 소비자 앱이 아니라, 서비스에 붙이려면 개발자가 Microsoft Foundry나 Playground, OpenRouter 같은 경로로 연결해야 해요. 일반인도 Playground에서 데모 Chatter를 열어 음성 에이전트가 대화하는 모습을 직접 확인할 수는 있습니다.

🚀 시작은 이렇게

1. MAI Playground에서 Chatter 데모 열어 보기 (세 모델 모두 체험 가능)
2. Microsoft Foundry · Azure Speech · Azure Voice Live로 실제 서비스 연결
3. OpenRouter · Vercel에서 음성 모델 두 종 사용, LiveKit은 곧 제공 예정
4. 요금은 API 사용량 기준이며, 스트리밍 소개 가격 $0.54/시간은 올해 연말까지만 적용

스트리밍 모델 소개 가격은 12월 31일까지만 적용된다는 점, 그리고 앞서 본 표의 요금은 모두 API 기준이라는 점을 기억해 주세요. 그냥 앱을 켜서 쓰는 무료 서비스는 아닙니다.

받아쓰기와 말하기를 한 발표에 묶어 낸 구성이 좋았습니다.

저는 '말이 끝나기 전에 반응한다'는 점이 제일 눈에 들어왔어요. 음성 비서가 어색하게 쉬는 그 1~2초를 없애는 일이, 결국 사람 말뜻을 더 잘 읽는 문제와 이어지니까요. 다음은 한국어 방송·강의 자막에서 이 속도가 실제로 얼마나 유지되는지 직접 확인해 보고 싶습니다.