Hacker News 中文摘要

RSS订阅

Qwen3.5的122B和35B模型在本地计算机上实现Sonnet 4.5级性能 -- Qwen3.5 122B and 35B models offer Sonnet 4.5 performance on local computers

文章摘要

阿里巴巴开源Qwen3.5中型模型,在本地计算机上实现接近Sonnet 4.5的性能表现。该模型由阿里云推出,展现了强大的本地计算能力。

文章总结

阿里巴巴开源Qwen3.5中量级模型:本地计算机实现接近Sonnet 4.5的性能

阿里巴巴Qwen AI团队近日发布了Qwen3.5中量级模型系列,包含四款新的大语言模型(LLM),其中三款采用Apache 2.0开源协议,可供企业和独立开发者商用: - Qwen3.5-35B-A3B - Qwen3.5-122B-A10B
- Qwen3.5-27B

开发者可通过Hugging Face和ModelScope平台下载。第四款Qwen3.5-Flash为专有模型,仅通过阿里云Model Studio API提供,但相比西方同类产品仍具价格优势。

技术突破: 1. 性能表现:开源模型在第三方基准测试中媲美OpenAI GPT-5-mini和Anthropic Claude Sonnet 4.5等专有模型 2. 量化技术:模型在4位权重量化后仍保持高精度,显著降低本地部署内存需求 3. 上下文窗口:旗舰型号Qwen3.5-35B-A3B在32GB显存的消费级GPU上支持超100万token上下文

架构创新: - 采用门控Delta网络与稀疏专家混合系统(MoE)的混合架构 - 350亿参数总量中,单token仅激活30亿参数 - 包含256个专家模块,其中8个路由专家和1个共享专家

产品特性: - 默认"思考模式":输出答案前生成带标签的内部推理链 - 型号覆盖:从支持80万token的Qwen3.5-27B到面向服务器GPU的122B-A10B

定价策略: - API调用成本极具竞争力(输入$0.1/百万token,输出$0.4/百万token) - 工具调用功能单独计价,代码解释器目前限时免费

企业价值: - 使非技术公司也能进行本地化AI开发 - 支持海量文档/视频的本地分析,规避第三方API隐私风险 - 通过私有化部署实现数据主权管控

该系列模型已在Hugging Face获得早期用户好评,被认为在智能体场景中缩小了与顶级闭源模型的差距。

评论总结

评论总结:

  1. 性能对比质疑

    • 质疑Qwen3.5与Sonnet 4.5的可比性:"Is this actually true? I want to see actual evals"(aliljet)
    • 直接否定性能:"none of the qwen 3.5 models are anywhere near sonnet 4.5 class"(jbellis)
  2. 硬件需求讨论

    • 大模型显存问题:"80Gb VRAM will barely fit Q4KS"(sunkeeh)
    • 移动端配置建议:"works great on a 18GB RAM"(kristianpaul)
  3. 实际使用体验

    • 正面评价:"Strong vision and reasoning performance"(gunalx)
    • 负面体验:"produced a very generic answer with errors"(mstaoru)
  4. 量化版本推荐

    • 推荐unsloth量化版本:"The unsloth quants seem to have been fixed"(solarkraft)
    • 官方版本缺失:"I don't see official ones"(solarkraft)
  5. 本地部署指南

    • 分享Mac部署方案:"wrote a guide on getting...working on a M1 MacBook Pro"(alexpotato)
  6. 性能争议

    • 怀疑宣传夸大:"Smells like hyperbole"(solarkraft)
    • 特定场景优势:"27b is the smartest local-sized model"(jbellis)

关键分歧: - 支持方认为:"The new 35b model is great...very good for tool use"(marklwatson) - 反对方指出:"35b is shit. fast shit, but shit"(jbellis)