苏黎世联邦理工学院开发了一种旨在服务公众利益的语言模型，强调其在公共领域的应用和贡献。

主要内容总结

标题：为公共利益构建的语言模型
来源：苏黎世联邦理工学院（ETH Zurich）

核心内容：

1. 项目背景：
   苏黎世联邦理工学院（ETH Zurich）和洛桑联邦理工学院（EPFL）合作开发了一款基于公共基础设施的大型语言模型（LLM），该模型在瑞士国家超级计算中心（CSCS）的“Alps”超级计算机上训练完成，标志着开源AI和多语言技术的重要里程碑。

2. 模型特点：

   • 完全开源：模型的源代码、权重和训练数据将公开，支持科学、政府、教育和私营部门的广泛采用，旨在促进创新和问责。
   • 多语言能力：该模型支持超过1000种语言，训练数据包括1500多种语言的文本、代码和数学数据，确保其全球适用性。
   • 两种规模：模型将发布8亿和700亿参数两个版本，满足不同用户需求。700亿参数版本将成为全球最强大的完全开源模型之一。
   • 数据责任：开发过程中严格遵守瑞士数据保护法和版权法，并遵循欧盟《人工智能法案》的透明度要求。

3. 技术支持：
   模型在CSCS的“Alps”超级计算机上训练，该计算机配备了超过10,000个NVIDIA Grace Hopper超级芯片，并使用100%碳中和电力。CSCS与NVIDIA和HPE/Cray的长期合作为该项目的成功提供了关键支持。

4. 发布与推广：
   模型将于2025年夏季末发布，采用Apache 2.0许可证，并附有详细的文档，包括模型架构、训练方法和使用指南，以支持透明重用和进一步开发。

5. 瑞士AI倡议：
   该项目是瑞士AI倡议的一部分，该倡议由EPFL和ETH Zurich于2023年12月发起，得到了瑞士10多所学术机构的支持，涉及800多名研究人员，并获得了ETH董事会的资金支持。

6. 国际合作：
   瑞士AI倡议由ETH AI中心和EPFL AI中心领导，这两个中心是欧洲学习与智能系统实验室（ELLIS）的区域单位，致力于推动可信AI的基础研究、技术创新和社会影响。

7. 相关活动：
   在日内瓦举行的“国际开源LLM构建者峰会”上，来自全球的50多个组织和倡议共同探讨了开源LLM和可信AI的未来发展方向。

图片标记：

• ：瑞士十字标志的插图，由红色和蓝色的电缆组成。

相关文章：

• AI以更少的计算开销提供可靠答案
• 新研究基础设施：“Alps”超级计算机启用
• 可信AI的联合倡议

关键词：

• 创新与工业
• 国际合作
• 机器学习
• 超级计算
• 计算机与信息技术

该项目的目标是推动开源AI的发展，促进全球范围内的创新和合作，同时确保透明度和责任。

1. 数据采集与性能

   • 评论1指出，尊重网络爬虫的退出选项在数据采集中几乎不会导致性能下降。
     • 引用：“respecting web crawling opt-outs during data acquisition produces virtually no performance degradation”
     • 中文：“在数据采集过程中尊重网络爬虫的退出选项几乎不会导致性能下降。”

2. 开放数据集的重要性

   • 评论4强调开放训练数据是一个重要的差异化因素，并质疑这是否是第一个真正大规模的开放数据集。
     • 引用：“The open training data is a huge differentiator. Is this the first truly open dataset of this scale?”
     • 中文：“开放训练数据是一个重要的差异化因素。这是否是第一个真正大规模的开放数据集？”

3. 模型能力与透明度

   • 评论5批评新闻稿过多关注实现方式，而较少提及与其他开放模型的能力对比。
     • 引用：“The press release talks a lot about how it was done, but very little about how capabilities compare to other open models.”
     • 中文：“新闻稿过多关注实现方式，而较少提及与其他开放模型的能力对比。”

4. 开放模型与商业模型的对比

   • 评论6认为开放LLM正逐渐成为商业系统的可信替代品，并批评商业模型存在政治偏见和商业化倾向。
     • 引用：“Open LLMs are increasingly viewed as credible alternatives to commercial systems, most of which are developed behind closed doors in the United States or China.”
     • 中文：“开放LLM正逐渐成为商业系统的可信替代品，大多数商业模型在美国或中国闭门开发。”

5. 数据集透明度的标准

   • 评论7认为这可能是数据集透明度的新标杆，但指出他们错失了命名机会。
     • 引用：“Is this setting the bar for dataset transparency? It seems like a significant step forward.”
     • 中文：“这是否设定了数据集透明度的新标杆？这似乎是一个重要的进步。”

6. 训练经验与基础设施的挑战

   • 评论8指出，尽管ETH和EPFL在训练大规模模型方面经验不足，但获得实践经验至关重要。
     • 引用：“What really matters is that ETH and EPFL get hands-on experience training at scale.”
     • 中文：“真正重要的是ETH和EPFL获得大规模训练的实践经验。”

7. 瑞士在开放LLM领域的潜力

   • 评论9认为瑞士凭借其顶尖的公共基础设施、教育和政治稳定性，有机会在开放LLM领域做出卓越贡献。
     • 引用：“With our top-tier public infrastructure, education, and political stability (+ neutrality), we have a unique opportunity to build something exceptional in the open LLM space.”
     • 中文：“凭借我们顶尖的公共基础设施、教育和政治稳定性（加上中立性），我们有机会在开放LLM领域做出卓越贡献。”