4,872
회의록에 문장이 자연스럽게 적혀 있어도, 누가 한 말인지 틀렸거나 원음의 해당 위치로 돌아갈 수 없다면 업무 기록으로 쓰기 어렵습니다. 이 글은 녹음 기반 회의록·강의 다시보기·통화 분석을 만드는 개발자를 위한 설계 가이드입니다.
NVIDIA가 2026년 10월 28일 공개한 Nemotron 3.5 Transcribe는 전사, 화자 귀속, 번역, 오디오 질의응답을 하나의 checkpoint에 묶은 open-weight 모델입니다.[5][6] 여기서는 순위보다 모델이 할 수 있는 일과 실제 연결한 API가 제공하는 일을 구분하는 방법에 집중합니다.
💡 💡 핵심: 전사 텍스트, 화자 귀속, 시간 정렬을 각각 확인하고, 선택한 serving 경로가 필요한 출력을 실제로 제공하는지 확인하세요. 아래 적용 절차는 설계 제안이며 직접 실행한 결과가 아닙니다.
Nemotron 3.5 Transcribe는 녹음과 텍스트 지시를 받아 텍스트를 생성하는 offline speech model입니다. 내부에서 오디오를 나눠 처리하더라도 실시간 streaming ASR 서비스가 되는 것은 아닙니다.[6]
공식 발표는 전사 40개 언어, 영어와의 번역 31개 언어, 화자 귀속 13개 언어를 구분합니다. 녹음은 최대 한 시간, 화자 표시는 최대 여덟 명을 지원한다고 설명합니다.[5] 따라서 “40개 언어 지원”을 모든 기능이 40개 언어에서 동일하게 동작한다는 뜻으로 읽으면 안 됩니다.
모델 카드의 한국어 행에는 ASR, 영어 양방향 번역, multispeaker ASR, code-switching이 지원으로 표시되어 있습니다.[6] 반면 오디오 이해·추론·음성 지시 따르기는 영어에서만 평가되었으며 다른 언어에서 안정적으로 동작하지 않을 수 있다고 명시합니다.[6]
도입 판단 의견: 한국어 회의를 글로 옮기는 기능과, 음성을 직접 듣고 회의 결론을 추론하는 기능은 별도 검증 대상으로 두는 편이 좋습니다. 전사 지원만 확인한 뒤 한국어 질의응답 품질까지 보장된 것으로 취급하지 마세요.
모델은 Transformer ASR encoder와 Sortformer speaker encoder를 포함한 음성 인식 구조를 사용합니다. 음성 특징과 텍스트 prompt가 언어 모델로 들어가고, 별도의 CTC alignment head가 생성된 전사를 오디오의 시간 위치와 연결합니다.[6]
역할을 나누면 다음과 같습니다.[5][6]
모델 카드의 timestamp 응답에는 단어와 시작·종료 시각, 화자 태그, diarization 구간, 태그와 화자 사이의 매핑, 정렬 오류 필드가 포함됩니다.[6] 이것들은 서로 관련되어 있지만 같은 데이터는 아닙니다.
💡 ⚠️ 화자 태그는 녹음 안에서 발화자를 구분하는 표식이지 실명 인증이 아닙니다.[6]
speaker 0을 참석자 명단의 첫 사람으로 자동 확정하지 않는 것이 이 글의 설계 권고입니다.
공식 prompt guide는 filler·반복을 보존하는 verbatim 전사와, filler·우발적 반복을 생략하되 나머지 발화는 유지하는 전사를 별도로 제시합니다. 도메인 용어를 context로 전달하는 방식도 안내합니다.[6]
설계 제안: 검토용 원문 전사와 사용자에게 보여 줄 정돈된 전사를 구분해 보관하세요. 둘을 같은 기록으로 덮어쓰기보다, 어떤 표현 규칙으로 생성했는지 남기면 정정과 원음 대조가 쉬워집니다.
용어 목록도 정답 주입 장치로 보면 곤란합니다. 모델 카드는 잘못되거나 무관한 context가 출력에 영향을 줄 수 있으며, 오도하는 context에 대한 강건성이 모든 설정에서 확립된 것은 아니라고 경고합니다.[6]
같은 checkpoint를 사용한다고 연결 경로의 기능이 같아지는 것은 아닙니다. DeepInfra의 출시 글은 전사, 단어·구간 timestamp, context prompt, 영어 번역을 제공한다고 설명하면서 API의 speaker attribution은 coming soon이라고 명시합니다.[16]
반면 NVIDIA 모델 카드의 vLLM 경로에는 화자 태그와 timestamp를 요청하는 방법이 있습니다.[6] “모델은 화자 귀속을 지원한다”와 “지금 선택한 hosted API에서 화자 귀속을 받을 수 있다”는 다른 주장인 셈입니다.[6][16]
다음은 회의록 서비스에 적용할 수 있는 검증 항목입니다.
NVIDIA의 timestamp 예제도 정렬 오류 필드를 사용 전에 확인하도록 합니다. 화자 태그 없는 전사는 단일 화자로 정렬되며, diarization 평가에는 단어 timestamp가 아니라 diarization 구간을 사용하라고 안내합니다.[6]
편집 의견: API가 응답했다는 사실과 업무에 필요한 증거가 모두 도착했다는 사실을 분리하세요. 회의록의 완료 조건은 단순히 텍스트가 비어 있지 않은지가 아닙니다.
다음은 고객 도입 사례가 아니라 구현을 위한 설계 제안입니다.
이 구조는 “음성을 이해하는 모델 하나”보다 “다시 확인할 수 있는 업무 기록”을 목표로 합니다. 한국어 오디오 추론의 검증 범위가 제한되어 있다는 점도 전사와 후속 요약을 나눠 검토할 이유입니다.[6]
Agora의 10월 28일 글은 교사가 영상·음성·공유 콘텐츠로 수업하고, 브라우저에서 녹화한 뒤 수업이 끝나면 오디오를 early-access Nemotron Transcribe에 보내는 데모를 설명합니다. 반환된 단어별 시각을 수업 다시보기와 함께 보여 주는 구조입니다.[7]
이 사례의 핵심은 실시간 수업 전송과 수업 후 전사 처리를 분리한 것입니다.[7] 모든 기능을 실시간 경로에 얹지 않아도, 녹화물에 시간 정보가 연결되면 복습용 탐색 화면을 설계할 수 있다는 해석이 가능합니다.
다만 이는 파트너가 공개한 데모입니다. 해당 글은 대규모 청중을 위한 운영 검증을 수행한 것이 아니라고 명시합니다.[7] 실제 학교 도입 성과, 검색 정확도, 운영 처리량을 확인한 사례로 확대하지 않습니다.
모델 카드에는 WER/CER 기반 전사 평가와 multi-speaker 평가 등이 구분되어 있고, 한국어 전사 결과는 CER로 보고됩니다.[6] 문장이 얼마나 정확한지와 화자 시간 구간이 얼마나 정확한지는 따로 확인해야 합니다.
독립 평가 운영자인 VoiceArena의 방법론도 DER을 missed speech·false alarm·speaker confusion으로 나누고, 화자 경계 오차를 얼마나 허용하는지에 해당하는 collar와 겹침 발화 처리 조건을 명시합니다.[11] 같은 “화자 분리 오류율”이라도 평가 조건을 함께 읽어야 하는 이유입니다.
확인한 VoiceArena Version 1 방법론은 최종 batch 출력의 화자 timeline을 평가하며, 영어에서 얻은 결과가 다른 언어로 그대로 이전된다고 주장하지 않습니다. Word-level 평가는 해당 방법론에서 Version 2 계획으로 구분합니다.[11]
조사 시 NVIDIA 발표의 leaderboard 설명과 독립 사이트에서 확인한 방법론의 평가 범위·버전이 완전히 일치하지 않았습니다.[5][11] 따라서 이 글은 제공자가 인용한 순위와 수치를 독립적으로 확인된 한국어 회의록 성능으로 재인용하지 않습니다.
권장 평가안: 같은 녹음에서 한국어 전사 오류, 화자 오귀속, 짧은 맞장구·동시 발화, 시간 이동의 정확성, 최종 요약의 근거 연결을 각각 점검하세요. 영어 순위 하나로 도입 여부를 결정하지 않는 편이 안전합니다.
Nemotron 3 Diarization은 “누가 언제 말했는가”를 찾는 별도 모델이며 streaming과 offline 추론을 모두 지원합니다.[14] 이미 잘 동작하는 ASR이 있다면, 전사 엔진 전체를 바꾸는 대신 별도 diarization 결과와 연결하는 대안도 있습니다.[14]
설계 의견: 통합 모델은 전사 스타일·번역·오디오 질문까지 한 모델로 실험하려는 경우에 검토할 수 있습니다. 반대로 기존 전사 품질에 만족하고 화자 구간만 부족하다면, 필요한 기능만 추가하는 편이 변경 범위를 줄입니다. 단, 이 경우 전사와 화자 구간을 연결하고 동기화하는 작업은 애플리케이션에 남습니다.
Self-hosting도 자동으로 더 저렴한 선택은 아닙니다. 공식 BF16 quick start는 H100 80 GB 한 대와 vLLM·NeMo Speech 구성을 예제로 제시합니다.[6] 실제 비용 비교에는 GPU 유지, 대기 시간, 운영·장애 대응까지 포함하라는 것이 이 글의 권고입니다. 비용 절감을 직접 측정한 것은 아닙니다.
모델 카드는 단어 대치·누락·반복, 존재하지 않는 발화 생성, 언어 선택 오류, 화자 귀속 오류를 알려진 실패 유형으로 열거합니다.[6] 이름·동시 발화·잡음·긴 녹음·오도하는 용어 context를 별도 테스트 대상으로 두세요.
Open-weight라는 말도 이용 조건 검토를 대신하지 않습니다. 모델에는 OpenMDW-1.1이 적용되며, Granary v2의 원본 오디오를 받는 경우 각 corpus의 원래 license도 따라야 한다고 안내합니다.[5][6]
💡 🔍 검증 범위: 자료 확인일은 2026-10-29입니다. NVIDIA 발표·모델 카드, Agora·DeepInfra의 공개 integration 설명, 독립 평가 방법론과 별도 diarization 모델 카드를 읽었습니다. 모델 카드는 revision
9d8cd6b79bfdd427b6558a5fdbf76fcaf8c75341의 원문과 동일함을 확인했습니다. 모델 설치·호출, 오디오 청취 평가, 한국어 benchmark 재현은 수행하지 않았습니다. 파트너 데모와 지원 문서는 확인했지만 실제 도입 성과·한국어 안정성을 독립 검증한 글은 아닙니다.
Nemotron 3.5 Transcribe에서 가져갈 학습 포인트는 통합 모델의 기능 수보다 출력 계약을 어디서 확인하느냐입니다. 언어별 모델 지원, 선택한 API의 지원 범위, 전사·화자·시간 정보의 검증을 분리해야 합니다.[6][16]
처음에는 기존 ASR과 작은 비교를 하고, 필요한 출력이 빠짐없이 도착하는지부터 확인하세요. 자연스러운 회의록보다 중요한 것은 틀린 부분을 원음으로 되돌아가 바로잡을 수 있는 기록입니다.
[5] https://huggingface.co/blog/nvidia/nemotron-transcribe-granary — NVIDIA Nemotron 3.5 Transcribe and Granary v2 — official announcement
[6] https://huggingface.co/nvidia/NVIDIA-Nemotron-3.5-Transcribe-30B-A4B/raw/main/README.md — NVIDIA Nemotron 3.5 Transcribe — model card
[7] https://www.agora.io/en/blog/how-live-teaching-can-become-a-lasting-learning-resource — Agora — How Live Teaching Can Become a Lasting Learning Resource
[11] https://voicearena.com/diarization-bench/methodology — VoiceArena — Diarization Benchmark Methodology, Version 1
[14] https://huggingface.co/nvidia/Nemotron-3-Diarization/raw/main/README.md — NVIDIA Nemotron 3 Diarization — model card
[16] https://deepinfra.com/blog/nvidia-nemotron-3-5-transcribe-release — DeepInfra — Nemotron 3.5 Transcribe integration and current API support