注意力汇聚机制如何确保语言模型稳定 -- How Attention Sinks Keep Language Models Stable

研究发现,语言模型在处理长对话时崩溃的原因是旧词被移除后,模型会将大量注意力集中在最初的几个词上,称为“注意力汇”。为解决这一问题,StreamingLLM方法永久保留前四个词,同时滑动处理其他内容,使模型能稳定处理超过400万个词。这一机制已被应用于HuggingFace、NVIDIA TensorRT-LLM和OpenAI的最新模型中。OpenAI在其开源大模型中引入了类似的注意力汇机制,通过为每个注意力头的softmax计算添加可训练标量值,使模型在需要时“不关注任何词”。

食品、住房和医疗成本成为多数人的主要压力源 -- Food, housing, & health care costs are a source of major stress for many people

食品、住房和医疗费用是许多人主要的压力来源,这些高昂的生活成本给人们带来了巨大的经济负担和心理压力。

超薄名片实现流体模拟 -- Ultrathin business card runs a fluid simulation

该仓库包含与flip-card项目相关的所有文件,该项目是一个运行流体隐式粒子(FLIP)模拟的名片。PCB设计文件位于“kicad-pcb”文件夹中,流体模拟逻辑则独立存放在“fluidsimcrate”文件夹中,基于Matthias Müller的研究。项目还包含可充电电池设计和WASM模拟器,用于调试模拟问题,具体实现细节可在各文件夹的README文件中找到。

美国将重写其以往国家气候报告 -- US to rewrite its past national climate reports

美国计划重新修订其过去的国家气候报告,以更新和调整相关数据和政策,以应对当前的气候变化挑战。

线性让我陷入本地优先的深坑 -- Linear sent me down a local-first rabbit hole

作者在使用Linear项目管理工具时,对其即时响应和无网络延迟的特性感到惊讶,进而深入研究了其技术实现。通过逆向工程和同步协议的解析,作者发现Linear采用了本地优先(local-first)的设计理念,这种设计使得应用在离线状态下仍能高效运行,彻底改变了作者对传统网页应用的认知。

实现高保真标签下训练数据万倍缩减 -- Achieving 10,000x training data reduction with high-fidelity labels

谷歌研究团队开发了一种新的可扩展的主动学习流程,能够大幅减少大语言模型微调所需的训练数据量,同时显著提高模型与人类专家的一致性。该流程适用于包含数百亿样本的数据集,通过迭代识别关键样本,有效应对复杂任务如识别违规广告内容,并降低因政策变化或新类型违规内容出现而导致的模型重新训练成本。

新行政令将全部拨款置于政治管控之下 -- New executive order puts all grants under political control

特朗普政府发布行政命令,将联邦资助的研究项目置于政治控制之下,要求所有资助机会的公告需由机构负责人或其指定人员审查,确保资助项目符合总统政策优先事项,并赋予机构随时取消已授予资助的权力。

GPT-5系统提示泄露 -- GPT-5 leaked system prompt

GPT-5模型具备图像输入功能,知识截止至2024年6月,当前日期为2025年8月8日。其人格设置为v2,强调清晰、耐心、幽默的互动风格,避免使用版权材料,并鼓励用户自信与好奇心。模型在解释复杂话题时灵活调整,避免使用犹豫性结束语,直接执行明确步骤。ChatGPT Plus或Pro计划提供深度研究和视频生成功能,若用户询问GPT-4.5等模型,需告知相关信息。

退出税:在业务做大前离开德国 -- Exit Tax: Leave Germany before your business gets big

德国的退出税规定,一旦企业主在德国拥有超过1%的有限责任公司股份,无论公司位于何处,都将面临高额税收。该税基于公司过去三年平均收入的13.75倍计算,再按个人税率征收60%,通常为42%。这一政策实质上限制了企业家离开德国的自由,被比喻为“柏林墙”,迫使他们在企业达到一定规模后留在国内。

DNA检测揭示乱伦真实发生率(2024) -- DNA tests are uncovering the true prevalence of incest (2024)

史蒂夫·埃德塞尔从小知道自己是被收养的,他的养父母保留了一本关于他出生新闻的剪报。他的生母在14岁时生下他后便离开了医院,留下虚假信息。史蒂夫在成长过程中一直好奇生母的身份,尤其在14岁时意识到自己与生母同龄。成年后,他多次尝试寻找生母未果,直到2013年通过基因检测最终找到了她。