Hacker News 中文摘要

RSS订阅

Gemini-3.5-转录 -- Gemini-3.5-Transcribe

谷歌发布Gemini 3.5 Transcribe语音转文字模型,能直接处理背景噪音、复杂术语和语言不流畅问题,将原始音频转化为准确、精炼的格式化文本,已在Gemini应用和安卓设备上应用。

正文

谷歌发布Gemini 3.5 Transcribe语音转文字模型,该模型能精准处理背景噪音、专业术语和口语不流畅问题,将原始音频直接转换为准确、格式化的文本。该模型已在Gemini应用和安卓系统中应用,如安卓的Rambler功能和macOS的Gemini应用。开发者可通过Google AI Studio的Gemini API和Gemini Enterprise Agent Platform使用该模型。

模型提供两种API:实时流式API(用于交互式语音应用,延迟低于1秒)和预录音频处理API(用于转录会议、通话记录等,支持说话人识别和时间戳)。主要功能包括:智能转录(自动处理自我修正、删除填充词、格式化文本)、函数调用(可委托复杂任务给其他Gemini模型)、高精度转录(流式词错误率4.0%,非流式2.6%)、自定义词汇识别、支持85种以上语言、多说话人识别(最多3人)。

相比前代Chirp 3模型,Gemini 3.5 Transcribe在性能上有显著提升,最终转录时间改善70%,在FLEURS基准测试中流式WER为5.50%,非流式为5.04%。该模型已集成到Gboard(安卓Rambler功能)、Google Antigravity、Google AI Studio、macOS Gemini应用等产品中,即将支持Chrome浏览器。

开发者可通过Agora、Fishjam、LangChain、LiveKit、Pipecat、Vercel和Vision Agents等平台使用该模型。vivo、Intellitek Health和Lingopal等公司已给予积极反馈。该模型现已面向开发者、企业和普通用户开放预览。

评论

根据评论内容,主要观点和论据如下:

正面评价(认可度较高): - 功能令人印象深刻,尤其支持在任意文本字段中通过语音生成图像(评论10)。 - 对多语言学习者和字幕格式化处理感兴趣(评论1)。 - 期待YouTube自动字幕功能因此改进(评论6)。

负面评价(认可度较低): - 词错误率(WER)指标不全面,实际存在随机插入句断、光标定位困难等问题(评论3)。 - 存在幻觉问题,如无音频时输出重复无意义文本(评论5)。 - 简化特定措辞,导致语义丢失(评论8)。 - 性能不如ElevenLabs Scribe,且价格更高(评论11)。

中立/技术性讨论: - 计算发生在云端(评论7)。 - 本地模型Voxtral Mini 3b在特定场景下表现更优(评论9)。 - 功能在Android GBoard上尚未完全推送(评论2)。 - 对训练数据来源和Waze导航改进提出疑问(评论4)。

关键引用: - 正面:评论1 "I'd love to know how this handles proper subtitle formatting.";评论10 "Very impressive, including the ability to hit fn in any text field and say 'generate an image ...'." - 负面:评论3 "My biggest complaint is that it inserts sentence breaks in random places";评论8 "it might 'simplify' it and break the meaning";评论11 "Still more expensive and worse performing than ElevenLabs Scribe." - 中立:评论7 "Where does the compute happen? I suppose it's a cloud thing?";评论9 "The only local model that satisfies me is Voxtral Mini 3b."