文章介绍了名为"talkie"的13B规模复古语言模型，该模型仅基于1930年前的文本训练而成，能模拟与历史人物对话的体验。开发者希望通过这种复古模型探索历史知识，同时强调模型输出仅反映训练文本的文化价值观。

文章标题：推出talkie：一款来自1930年的130亿参数复古语言模型

核心内容概述：

1. 项目介绍

   • talkie是一款基于1930年前英文文本训练的130亿参数语言模型，由Nick Levine、David Duvenaud和Alec Radford团队开发。
   • 目标是通过复古模型模拟与历史人物对话的体验，同时探索AI对历史文本的理解和泛化能力。
   • 提供在线聊天演示（体验链接）和开源资源（GitHub）。

2. 复古模型的意义

   • 时间胶囊功能：通过训练数据的时间截断（1930年），研究模型对未知未来事件（如二战、计算机发明）的预测能力（图1）。
   • 数据多样性实验：对比现代与复古模型的差异，揭示训练数据对AI行为和认知的塑造作用。
   • 编程能力测试：尽管未接触过现代计算机知识，复古模型仍能通过示例学习简单Python编程（图3）。

3. 技术挑战与解决方案

   • 时间污染过滤：开发n-gram分类器检测并剔除训练数据中的年代错误内容（如罗斯福新政相关文本，图5）。
   • 数据质量优化：传统OCR转录存在30%效率损失，团队正开发专用复古OCR系统提升文本准确性（图6）。
   • 后训练方法：基于历史文献（礼仪手册、百科全书等，图7）生成指令微调数据，避免现代聊天风格污染。

4. 未来计划

   • 扩大模型规模至GPT-3级别，训练数据目标超1万亿token。
   • 扩展多语言语料库，提升历史文本多样性。
   • 联合人文研究者优化历史人物角色构建方法。

5. 合作邀请
   团队呼吁历史学者、AI研究员、艺术家等共同参与，提供文本资源、资金支持或研究协作（联系邮箱：hello@talkie-lm.com）。

注意事项：

• 模型输出可能包含1930年前文化价值观中的冒犯性内容。
• 致谢Anthropic等机构提供的计算资源支持。

（注：原文中的技术图表链接、部分实验细节及完整引用格式已简化，核心逻辑和关键数据保留。）

以下是评论内容的总结：

1. 技术需求与安装问题

   • 有用户表示需要更强的机器来运行这类模型（"Darn I've only got ~20 GB of VRAM. I really need to get a stronger machine for this sort of stuff."）
   • 另一用户询问是否可以通过ollama轻松安装（"This is cool. Is it possible to easily install with ollama?"）

2. 模型的历史风格模拟

   • 有建议认为可以通过更大的模型和系统提示来模拟维多利亚/爱德华时代绅士的说话风格（"give it a thorough system prompt to only speak in the manner of a well educated Victorian/Edwardian era gentleman"）
   • 另一用户指出“复古”这一称呼的幽默性，并质疑是否真的运行在真空管硬件上（"Vintage is a funny thing to call this. Is it running on vacuum tube hardware?"）

3. 历史人物对话的愿景

   • 提到Steve Jobs曾设想通过计算机与历史人物（如亚里士多德）互动（"Essentially one of his main wish in life is to meet and interract with Aristotle"）
   • 另一用户认为这种对话更像是通过书面记录进行交流，而非真实的语音（"It's going to be more like corresponding with someone from the past."）

4. 模型的科学潜力

   • 有用户对模型能否提出类似广义相对论的理论表示兴趣（"whether these types of models can come up with things like General relativity"）
   • 另一用户认为Python示例展示了LLM的能力，反驳了“随机鹦鹉”的批评（"a good rejoinder to anyone still dismissing LLM’s as stochastic parrots"）

5. “复古模型”定义的争议

   • 有用户批评模型未能完全避免数据泄漏，不符合“复古模型”的定义（"their model does in fact have quite a bit of anachronistic knowledge"）
   • 另一用户提到类似项目（TimeCapsuleLLM）的目标是减少现代偏见并模拟特定时代的语言和世界观（"to reduce modern bias and emulate the voice, vocabulary, and worldview of the era"）

6. 历史预测的局限性

   • 有用户引用Nate Silver的书，讨论历史预测的准确性（"the odds were much lower"）
   • 另一用户通过模型对印度独立可能性的回答，展示了历史观点的局限性（"The colonialism is... wow.."）

7. 其他相关项目与资源

   • 有用户提到Alec Radford的参与（"Alec Radford is on the list of authors!"）
   • 另一用户分享了类似的历史LLM项目链接（"There's a similar but unreleased project here"）

总结：评论主要围绕技术实现、历史风格模拟、数据泄漏问题、历史预测的潜力与局限性展开，同时提到了多个相关项目和资源。