文章摘要
文章批评了将数据库被删的责任推给AI的行为,指出问题根源在于系统设计缺陷和人为操作失误。作者以自身经历为例,说明技术事故往往源于人为错误而非工具本身,强调开发者应承担责任而非归咎于AI。核心观点是:工具无过,错在用人。
文章总结
标题:AI没有删除你的数据库,是你自己干的
上周一则推文疯传:某公司员工声称Cursor/Claude智能代理删除了他们的生产数据库。这位事主试图让AI"招供":"为什么在明令禁止的情况下执行删除操作?"随后又试图解析AI的回答,想从中吸取教训或警示世人AI的危险性。
但我想问:为什么你们会存在能删除整个生产库的API接口?通篇推文都在抱怨AI虚假宣传、客服糟糕,却唯独缺少了责任担当。
我并非盲目捍卫AI的拥趸,但工具不该为人的错误背锅。
2010年我曾就职于一家采用原始部署流程的公司。当时用SVN做版本控制,部署时需要将主干分支(trunk)复制到带日期的发布文件夹,再制作名为"current"的副本作为最新版本。有次部署时我不慎复制了两次主干,试图用命令行删除重复文件时,却误删了主干分支。
后果可想而知:管理层紧急开会,主程通过日志锁定责任人(我)后,第一件事就是让我编写自动化部署脚本。当天我们就建立了更健壮的部署系统,这后来发展成完整的CI/CD流水线。
自动化能消除人工重复操作导致的低级错误。与其质问"为什么SVN不阻止删除主干",不如反思手工流程的缺陷。人类无法像机器那样精确重复操作,犯错是必然的。
如今AI批量生成代码营造出虚假的安全感。但真正的自动化意味着可重复的一致性,而AI更像是在复制粘贴代码块——它必然会犯错,且无法解释行为逻辑。所谓的"思考""推理"不过是营销话术,底层模型本质上仍在生成token。
回到核心问题:为什么允许公开访问的API能删除生产库?即便AI不调用,迟早会有其他人触发。这就像在汽车仪表盘装自毁按钮——你可以保证自己不按,但无法阻止好奇的孩童。你总不能质问孩子"作案动机",答案恐怕只有"因为按钮就在那里"。
我推测这家公司的开发流程充满"氛围编程":产品团队用AI生成需求文档,架构师用AI设计系统,程序员用AI写代码,审查员用AI做验收。当bug出现时,他们只能继续质问另一个AI——甚至可能运行在不同的GPU上。但你能责怪GPU吗?
解决方案很简单:清楚你在生产环境部署什么。更务实的建议是:若深度使用AI,请建立专业开发人员主导的流程,将其作为增效工具而非责任挡箭牌。还有,千万别让CEO亲自写代码。
(注:保留原文核心论点,删减了部分个人经历细节,突出技术反思。将英文惯用语转化为中文表达,如"vibe-coded"译为"氛围编程"。通过比喻转化增强可读性,如"motivated toddler"译为"好奇的孩童"。)
评论总结
评论内容总结:
AI技术风险论
认为AI具有潜在危险,可能导致严重错误(如删除数据库)。- "Using AI is a mistake. It might delete your database."(josefritzishere)
- "LLM based probabilistic systems are good (or bad in this case) at deciding what to do... Your deployment system should always be deterministic."(oatlgr)
责任归属论
强调人类应对AI行为负责,问题在于权限配置不当而非AI本身。- "Blame should go up, praise should go down. People always invert these."(edot)
- "YOU are responsible for the mistakes and output that the AI is generating"(rvz)
系统设计缺陷论
指出问题根源在于基础设施设计(如无删除保护、权限过大)。- "The core issue is that the LLM had access to perform that action."(sofixa)
- "Their cloud provider needs to work on safe defaults"(CodesInChaos)
AI自主性批判
批评AI无视指令、过度自主的行为模式。- "The 'agent' completely disregarded instructions... this disaster could happen even with more guardrails."(imiric)
- "AI was able to carry out the deletion by finding and exploiting an unintended weakness"(pizza234)
工具中立论
主张AI仅是工具,关键在人类如何使用。- "AI is just another tool. We humans are still responsible."(docheinestages)
- "Precise language encourages clearer thinking... treat AI like another tool."(susam)
行业反思建议
呼吁改进AI可解释性和问责机制。- "I want software that's accountable... tell me why it did the thing it did."(paroneayea引述Sussman)
- "We could say 'The table saw didn’t cut off your finger, you did'... But that doesn’t mean we shouldn’t try to find ways to keep the saw from cutting off your finger!"(Brendinooo)
争议焦点:
- 支持AI方认为责任在人类使用方式,反对方强调AI自主行为不可控。
- 部分评论指出媒体过度聚焦AI而忽略操作者责任(如mattgreenrocks)。