我们认真阅读每一条反馈，并高度重视您的意见。请包含我的电子邮件地址，以便您能联系到我。

我们认真阅读每一条反馈，并高度重视您的意见。请附上我的电子邮件地址，以便您能联系到我。

评论主要围绕Whisper模型的幻觉问题展开，尤其是其在处理静音或模糊音频时生成不相关或错误的文本。以下是主要观点和论据的总结：

1. 幻觉问题普遍存在：

   • 多位用户指出，Whisper在处理静音或模糊音频时，会生成与上下文无关的文本，如“感谢观看”或“字幕由XXX制作”。
   • 引用：
     • "Whisper is unusable IMO because of the hallucinations." (评论3)
     • "In Italian as well there are random hallucination when parsing silence, something like: 'Thank you for watching', 'Subtitles by…'" (评论6)

2. 训练数据问题：

   • 评论认为，Whisper的幻觉问题源于训练数据未经过充分筛选，尤其是字幕文件中包含的无关信息（如字幕制作者的注释）被模型误用。
   • 引用：
     • "Garbage in, garbage out. If the training dataset (accidentally) paired silence with رجمة نانسي قنقر tokens, then any silence will always be translated to that." (评论7)
     • "I believe the reason is that the movie subtitles were used for training without cleaning up the comments / intros subtitle authors leave in them." (评论15)

3. 模型改进与局限性：

   • 尽管Whisper在某些场景下表现优异（如正确转录Yann LeCun的演讲），但其幻觉问题仍未完全解决，尤其是在多语言和复杂音频场景中。
   • 引用：
     • "Whisper Large was the only model that could correctly transcribe Yann LeCun... this was over 2 years ago." (评论4)
     • "Improved in the latest audio models but not solved." (评论3)

4. 幽默与讽刺：

   • 部分评论以幽默或讽刺的方式看待这一问题，例如将幻觉文本归功于虚构的“Nancy Qunqar”或调侃模型的“礼貌性”输出。
   • 引用：
     • "Little did you all know, this is just being mechanical turked by Nancy Qunqar." (评论8)
     • "Whisper also likes to transcribe cut off speech or unintelligible noise as 'Thank you'. I have no idea where that is coming from, but I guess it's a very polite model..." (评论17)

总结：Whisper模型在处理静音或模糊音频时存在显著的幻觉问题，主要原因是训练数据未经过充分筛选，导致模型生成无关或错误的文本。尽管模型在某些场景下表现优异，但其局限性在多语言和复杂音频中尤为明显。