Taalas公司研发出一种专用芯片ASIC，能将Llama 3.1模型直接"印刷"到硬件上，实现每秒17,000个token的推理速度，比GPU方案快10倍、成本低10倍且更省电。这种固定功能的芯片像游戏卡带一样专为单一模型优化，通过硬件级固化权重实现极致性能。

标题：Taalas如何将大语言模型"印制"到芯片上？
——每秒生成17000个token的奥秘

2026年2月22日 · 4分钟阅读

初创公司Taalas近期发布了一款运行Llama 3.1 8B（3/6位量化）模型的ASIC芯片，推理速度高达每秒17,000个token，相当于一秒生成约30页A4纸的内容。据其官网所述，该芯片的拥有成本比基于GPU的推理系统低10倍，能耗减少90%，速度更是达到当前顶尖水平的10倍。

通过研读其技术博客发现，Taalas将模型权重直接"固化"在芯片上。这对软件背景出身、仅业余了解大语言模型的我而言颇具冲击力。经过查阅多篇技术文章、LocalLLaMA社区讨论及硬件原理后，终于理解了这种革命性设计。

核心原理

Taalas的芯片属于固定功能ASIC（专用集成电路），类似于CD-ROM或实体书籍，仅承载单一模型且不可改写。与传统GPU的运作方式形成鲜明对比：

GPU的瓶颈
- 大语言模型由多层结构组成（如Llama 3.1 8B含32层）
- GPU需反复从显存中提取权重矩阵进行运算，并将中间结果回存
- 生成单个token就需完成32次显存读写循环
- 内存带宽限制导致显著延迟与能耗（即"内存墙"问题）

Taalas的突破
1. 物理固化模型：将32层模型权重直接蚀刻为硅基晶体管阵列
2. "魔法乘法器"：创新硬件设计实现单晶体管处理4位数据乘法
3. 流水线架构：电信号通过物理导线在层级间流动，无需中间存储
4. 片上SRAM：仅用于KV缓存和LoRA适配器微调，彻底规避外部DRAM

量产挑战与解决方案

针对"为每个模型定制芯片成本过高"的质疑，Taalas采用了两阶段策略：
1. 预先制造包含通用逻辑门阵列的基础芯片
2. 通过定制顶层光刻掩模快速适配新模型

虽然开发Llama 3.1 8B芯片仍需两个月（远快于传统芯片设计周期），但在AI行业仍显漫长。不过对于苦于本地部署大模型的用户而言，这种硬件创新无疑值得期待。

（注：原文中的技术示意图链接及部分行业评论等次要信息已酌情精简）

以下是评论内容的总结，涵盖主要观点和论据，并保持不同观点的平衡性：

1. 技术可行性与创新性

• 支持观点：认为单晶体管乘法技术（single transistor multiply）具有创新性，可能通过预计算和路由实现高效计算。
  • 引用："The single transistor multiply is intriguing... If they stay in the log domain and use a resistor network for multiplication, and the transistor is just exponentiating for the addition that seems genuinely ingenious." (rustyhancock)
  • 引用："It's essentially compute and memory baked together... it does seem compelling!" (rustyhancock)
• 质疑观点：认为高连接性的模型层难以在物理层实现。
  • 引用："Isn’t the highly connected nature of the model layers problematic to build into physical layer?" (sargun)

2. 应用场景与商业化前景

• 乐观观点：认为低成本ASIC将改变模型使用方式，例如通过USB设备本地运行小型模型。
  • 引用："Models would be available as USB plug-in devices... Even at a few thousand tokens/second, low buying cost and low operating cost, this is massive." (brainless)
  • 引用："I can imagine Gemma 5 Mini running locally on hardware, or a hard-coded 'AI core'..." (Hello9999901)
• 悲观观点：质疑定制芯片的经济性，尤其是模型更新频繁的情况下。
  • 引用："Who’s going to pay for custom chips when they shit out new models every two weeks..." (lm28469)

3. 技术细节与专利分析

• 深入分析：通过专利分析推测技术实现，如预计算乘法结果和掩模编程ROM。
  • 引用："The 'single transistor multiply' could be multiplication by routing, not arithmetic... multiplier circuits produce a set of outputs, readable cells store addresses associated with parameter values, and a selection circuit picks the right output." (abrichr)
  • 引用："Patent [3] covers high-density multibit mask ROM using shared drain and gate connections..." (abrichr)
• 性能疑问：质疑为何性能仅为每秒3万token，认为应更高。
  • 引用："So why only 30,000 tokens per second?... it should still be able to do tens of millions of tokens per second..." (londons_explore)

4. 其他观点

• 类比与想象：提出类似游戏卡带的模型更换方式。
  • 引用："Imagine a slot on your computer where you physically pop out and replace the chip with different models, sort of like a Nintendo DS." (owenpalmer)
• 技术质疑：认为文章对“打印”技术的描述不准确。
  • 引用："This read itself is slop lol, literally dances around the term printing as if its some inkjet printer." (villgax)

总结

评论中既有对技术创新的肯定和对未来应用的期待，也有对技术可行性和商业化前景的质疑。专利分析和性能讨论提供了深入的技术视角，而类比和想象则丰富了应用场景的多样性。