Hacker News 中文摘要

RSS订阅

EmbeddingGemma 2 发布 -- EmbeddingGemma 2

谷歌(Google)去年推出轻量级文本嵌入模型EmbeddingGemma,让应用能在消费级硬件上直接组织、搜索和连接信息。开发者反响超出预期,下载量超过2000万次,被用于设备端搜索和隐私优先的检索增强生成(RAG)流程。今天谷歌发布EmbeddingGemma 2,把能力从文本扩展到图像、音频和视频。

正文

EmbeddingGemma 2 是端侧多模态嵌入能力最强的模型,原生将文本、图像、音频和视频组合映射到统一嵌入空间。

EmbeddingGemma 2 模型

我们去年推出了 EmbeddingGemma,提供轻量级高质量文本嵌入,帮助应用在消费硬件上组织、搜索和连接信息。开发者社区反响超出预期,下载量超 2000 万,被用于端侧智能搜索工具和数据隐私优先的 RAG 流水线。

今天发布 EmbeddingGemma 2,从文本扩展到统一代码、图像、视频和音频于共享嵌入空间。基于 Gemma 4 架构,采用 Apache 2.0 许可,参数 7.4 亿,适合端侧推理。它能从语音备忘录找出特定视频片段,或根据文本查询搜索数小时音频,全部由单一原生多模态模型处理。

基于与 Gemini Embedding 模型相同的技术,EmbeddingGemma 2 具备:

  • 同尺寸最佳:在 MTEB Code 和 MAEB 等基准上,亚 10 亿参数多模态嵌入模型中领先,文本、视觉、音频任务匹敌或超越更大模型。
  • 模块化设计:纯文本任务最少需 2.7 亿参数,可选视觉(1.7 亿)和音频(3 亿)编码器支持完整多模态。
  • 存储高效:使用 MRL,可将输出向量从 768 维动态截断至 512、256 或 128 维,本地向量库和内存占用最高减 6 倍。
  • 端侧性能优化:资源受限下高效运行。量化后,Pixel 11 Pro 上纯文本权重活跃内存约 191MB,全多模态约 567MB。
  • 长上下文:8K token 上下文窗口(比 1 代大 4 倍),可本地处理最长 5.5 分钟音频、29 张图像、58 视频帧或交错组合。

在代码、视觉和音频上实现顶级质量

EmbeddingGemma 2 保持上代强大多语言文本表现,代码性能显著提升(MTEB Code 从 68.76 至 78.68,提高 9.92 分),适合本地代码库索引、语义代码搜索和编码代理检索。图像、视频、文档和音频上,它为亚 10 亿模型设下每参数质量新标准,甚至超越某些两倍以上尺寸的专用模型。完整评估见 模型卡。

在端侧实现语义搜索、路由与检索

EmbeddingGemma 2 将强大能力直接带至边缘硬件。本地生成嵌入保障数据隐私、降低延迟,支持完全离线的跨模态搜索检索。配合 Gemma 4 等生成模型,可搭建理解复杂多模态数据的端侧 RAG。因基于 Gemma 4 共享文本分词器和音频编码器,两模型可统一流水线运行,总内存占用更低。了解用 LiteRT 构建见 Google AI Edge 博客。

开始使用 EmbeddingGemma 2

我们与合作伙伴确保即时可用:

  • 下载模型:在 Hugging Face 和 Kaggle 获取权重,Gemini Enterprise Agent Platform Model Garden 即将上线。LiteRT Community 提供端侧优化模型。
  • 端侧部署:用 Google AI Edge MediaPipe 开发跨平台应用,支持嵌入、检索与决策,或用 LiteRT 自定义集成。浏览器可用 transformers.js 或 WebGPU。
  • 开发工具:用 transformers、sentence-transformers、MLX、vLLM、llama.cpp、SGLang、Ollama、LMStudio 高效服务模型;Qdrant 存储向量。
  • 微调:参考 Unsloth 指南。

另可查阅 开发者指南、文档 及 推理 与 微调 指南。

评论

社区普遍欢迎 Google 发布 Apache 2.0 许可的 EmbeddingGemma 2 中等尺寸多模态嵌入模型,认为其开放权重对实际应用至关重要,少数人则关切横向基准对比的缺失与端侧落地细节。

赞赏 Apache 2.0 开放权重对嵌入模型应用的必要性

  • 嵌入模型常需计算并存储海量向量,闭源厂商停服会导致高昂重算成本,开放权重允许用户随时自托管或换供应商,Google 愿放出本可能塞进安卓的模型值得称赞(较多人) > 嵌入模型一旦闭源,供应商停服时重算数百万存储向量的成本不能寄望于对方减免(@simonw)

认可中等尺寸多模态架构与本地化潜力

  • 长期以来缺乏优质中等尺寸多模态嵌入模型,新模型文本加视觉参数合理,适合本地嵌入、检索增强生成及图文决策类任务(较多人) > 终于等到多模态嵌入范式转折期里好用的中型模型,文本仅 270M 比老模型强太多(@minimaxir)

疑问为何缺乏与同门及第三方模型的横向对比

  • 有人疑惑未与谷歌自家的 siglip2 比较,也希望能对比 voyageai 等文本嵌入模型以验证实际优劣,并指出文本基准与初代一致但模块化是亮点(少数人) > 为何不与同出谷歌的 siglip2 比较,是它不完全多模态还是团队不同?(@brokensegue)

关注端侧实际落地场景与准确率

  • 有人考虑测试后接入系统,但另有用户直接提问端侧多模态的具体用例、准确率与幻觉率仍待社区考察(少数人)

有价值的补充

  • 模型总参 740M 拆分有趣:270M 文本、170M 视觉、300M 音频,且新模型支持模块化启停,例如仅保留文本分支。
  • 训练方式上该模型使用 MRL 而非 MatFormers,意味着不能随低维嵌入缩减模型权重,推测多模态 MatFormers 研究尚不成熟。
  • 该模型可应用于类似 MediaPipe 决策器的图文联合任务,在本地实现轻量判断。