Hacker News 中文摘要

RSS订阅

研究者对OpenAI托管未发表数学信任生疑 -- More questions about whether researchers can trust OpenAI with unpublished math

数学长毛象(mathstodon.xyz)是众多独立长毛象(Mastodon)服务器中的一个,用户可借助它参与联邦宇宙(fediverse)。这是一个面向数学人的长毛象实例,其网页界面支持 LaTeX 渲染功能。该实例由克里斯蒂安·劳森-完美(Christian Lawson-Perfect)管理,服务器统计有 5K 活跃用户。

正文

tristanbuckmaster 宣布,他与 Levent Alpöge 公开了三项结果:不可压缩多孔介质在光滑外力下的有限时间爆破、Boussinesq 方程的情形,以及三维不可压缩 Euler 方程。

https://cims.nyu.edu/~tristanb/statement.pdf

Image 1: More about this server

https://cims.nyu.edu/~tristanb/euler.pdf

https://cims.nyu.edu/~tristanb/ipm.pdf

https://cims.nyu.edu/~tristanb/boussinesq.pdf

https://github.com/tristanbuckmaster/fluid_lean

Andreas Thom 回复说,他想记录自己在读完相关争议后意识到的几点。这让他想起 OpenAI 宣布非索菲群结果后他与 OpenAI 的一次往来,暴露了一个严肃且未获回答的问题:研究者能否信任 OpenAI 对待未发表的数学。

用 Kun 和他本人的方法得出非索菲群这一意外结果后不久,他在给 Mark Sellke 和 Sebastien Bubeck 的邮件中写道:“另一点是,我同德累斯顿的一位同事近几个月一直在与 ChatGPT 讨论展开图匹配问题以及同 Gabor Kun 合作的若干推广,所以我们当然好奇那是否成了训练数据的一部分,或者推理过程能否接触到。这里存在某种(坦率说不可接受的)不透明;我担心它对数学共同体流程的损害,会超过新 AI 生成结果给这个学科带来的好处。”

Mark Sellke 的完整回复是:“关于你与 ChatGPT 的对话:那没有发生。”

我明确问的是两件不同的事:(1) 我们的对话是否进入训练数据,(2) 求解过程能否接触它们。这个斩钉截铁的回答现在看起来只针对 (2) 下的直接接触。没有给出任何限定、解释或证据。我认为这至少是不诚实。

OpenAI 现在在 Buckmaster-Alpöge 案中说没有访问特定用户数据,但补充说它“不能排除从其使用我们产品中衍生的去标识化数据帮助改进了我们的模型”。

Zhouhang Mao 问 Thom,是否在“设置 → 数据控制 → 为所有人改进模型”中选择了退出,该选项默认开启;如果已退出,那么 OpenAI 说“不能排除……”可能就违法。Thom 回答,他在 6 月 29 日退出。

hyperprompt.me 说,即使退出,只要点击回复的赞或踩、选择偏好的输出,或以任何方式触发模糊的“安全过滤器”,数据仍会被吸收;后端模型的激活值也可以被映射,那些严格说不是“你的数据”,而是重新合成的抽象,即便在 GDPR 下也能做到,因此在狭窄的高信噪比领域窃取想法或实现既容易又可能合法。

Zhouhang Mao 补充了另一个陷阱:如果退出了训练,却继续在退出之前创建的对话里聊天,他们仍觉得可以对此随意取用。实际上,OpenAI 的 FAQ 说退出训练后“新对话”不用于训练——这是 ChatGPT 在分析了 OpenAI 的 FAQ 之后告诉他的。

Sye 说,退出之前的一切显然都用于训练。

Paul-Olivier Dehaye 说,根据过往经验,他有一些关于可以做什么的想法,也有资金帮助把这个项目做成影响极大的事。他提到自己一直在梳理各种选项。

TEDx 演讲“好奇心与数字混乱”

p6zem0 打了 #onlyLocalLLM 标签。

chickendeadfrog 认为,答案在于 OpenAI 并不知道自己是否从你给的提示中受益,以至于正是因此解出了问题。大型 AI 模型是个黑箱,可解释性——大致就是理解这些模型如何思考的领域——很难,远未达到能告诉你这些事的程度。

Breakfastisready 反驳说,判断某样东西是否进入训练数据非常容易,与可解释性毫无关系。

评论

这场讨论里几乎没人替 OpenAI 辩护,分歧主要在于问题到底是什么:是成果被窃取与信任崩塌,还是把模型能力吹过头、连带放大资本市场的泡沫;少数人则认为只要能推进结果,纠结署名是学术身份受挫。

认为指控证据薄弱,甚至带有阴谋论色彩

多数人承认事件观感很差,但认为现有材料撑不起"剽窃"的结论。有观点指出对方连"手上有一个证明"都没声称,只说是"在朝这个方向做";也有人翻出当事人此前在 MathOverflow 上详细解读 OpenAI 那个非 sofic 群构造时,只称关键论证很巧妙,并未提到自己先想到。还有人说,如果直接查询模型就能拿到答案,为什么还需要把那条对话拿去训练——这反而让"剽窃"的动机变得可疑。(较多人)

他们连"已经证明了"都没说,只说是还在做。(@Legend2440)

真正的危害不是署名,而是夸大了模型的能力

这是讨论里最反直觉也最有共鸣的一支:问题不在于谁拿功劳,而在于把模型描绘得比实际更聪明,从而催生"AGI 已实现"之类的离谱说法,给本就危险的金融泡沫火上浇油。有人指出 OpenAI 这么做多半出于内部原因,只会抬高用户成本却没有任何实际收益;也有人认定这轮数学成果比拼本质上是两家公司为 IPO 互相撑场面。(较多人)

这一切只是为了让 OpenAI 和 Anthropic 在 IPO 前比拼数学成果。(@viccis)

大厂本就不可信,不该把研究数据交给云端模型

大量评论把话题引向数据主权:所有大厂都建立在窃取 IP 之上,所谓隐私承诺从来不该信;企业和研究者把秘方交给云端模型,等于通过训练把情报送给自己的竞争对手。有人建议改用可自托管的开源模型,初期成本高但很快回本;有人已经在公开渠道带日期发布研究,以便日后被"重新发现"时留下证据。也有人反问:既然有"帮助改进模型"的开关,为什么这么多人不取消勾选。(较多人)

如果连数学证明都偷,谁能保证他们不会偷走你的商业机密。(@vrganj)

只要问题被解决,纠结署名是学术身份作祟

少数派认为,把自我和身份放到一边,治好病、解决问题才是重点,类比开源代码被拿去用也无所谓,可以接着解决下一个问题。这类声音在社区遭到猛烈反对,发帖者本人也承认这是自己在这个板块被踩最快的一次。(少数人)

放下自我,难道不该为疣被治好而高兴吗?(@ThalesX)

需要诉讼和可核查的对话日志

有人呼吁来一批官司,因为现有描述方式会催生畸形做法:把想到的每个点子都跟模型说一遍,事后只要有成果就声称被偷。关键是把聊天记录摆出来,看清人类和模型各贡献了多少。(少数人)

对数学界和学生的现实冲击

有数学从业者说,同行们回头发现来自 OpenAI/Anthropic 的"请教式"邮件很像抢跑;更严重的是学生开始怀疑还值不值得读纯数学博士,不是因为不热爱,而是不愿再投入五六年之后还得从头开始职业生涯。(较多人)

认为证据链像是事后拼凑出来的

有人注意到时间线可疑:OpenAI 在得知某个重大证明有相当概率存在于某个仍在训练中的模型的训练数据里之后,随即让该模型生成了三千亿输出 token。每一步单独看都有合理解释,但连起来像是"平行构造"式的补证。(少数人)

有价值的补充

  • 有人贴出 science.org 的报道,称它把争议和其中的数学问题讲得远比推文清楚。
  • 有评论把模型的知识分为两部分:模型本身掌握的知识早已远超任何个人,真正值钱的是对话中人类的决策与反馈,而这部分时间越往后越关键。
  • 一条推测式论证被不少人认真对待:真正的风险未必是用你的数据训练公开模型,而是用你的私密对话"改进产品",这必然意味着存在某种持续审查和记忆机制,而这与具体是谁、在做什么研究无关。
  • 社区情绪的代表性玩笑:你说的一切都可能被拿去训练来对付你——被形容成 AI 时代的米兰达警告。