这篇文章介绍了Qwen3.5模型的微调指南，由Unsloth平台提供。内容包含相关文档链接、社区资源（如Reddit、Discord、GitHub）以及订阅服务，旨在帮助用户更好地使用和微调Qwen3.5模型。

Qwen3.5 微调指南 | Unsloth 文档

主要内容概述

本文档详细介绍了如何使用 Unsloth 工具对 Qwen3.5 系列大语言模型进行本地微调，涵盖文本和视觉多模态任务。以下是核心内容提炼：

关键亮点

1. 模型支持

   • 支持全系列 Qwen3.5 模型（0.8B/2B/4B/9B/27B/35B-A3B/122B-A10B）
   • 提供 bf16 LoRA 微调方案，35B-A3B 模型仅需 74GB VRAM
   • 相比传统 FA2 方案，训练速度提升 1.5倍，显存占用减少 50%

2. 资源需求

   • bf16 LoRA 显存参考：
     0.8B:3GB | 2B:5GB | 4B:10GB | 9B:22GB | 27B:56GB
   • 免费 Colab 笔记本支持小模型微调：
     0.8B | 2B | 4B

3. 特性优势

   • 支持 201种语言 的多语言微调
   • 可导出为 GGUF（兼容 llama.cpp/Ollama）或 vLLM 格式
   • 提供 MoE 模型 高效训练方案（35B/122B），显存优化达 35%

技术要点

• 环境配置
  需升级至最新版本：
  bash pip install --upgrade --force-reinstall --no-cache-dir unsloth unsloth_zoo

  • 必须使用 transformers v5（旧版不兼容）
  • 避免使用 QLoRA 4-bit 量化（量化误差较高）

• 视觉微调
  需安装依赖项（torchvision, pillow），参考示例笔记本：

  • 多图像训练指南
  • 可选择性微调视觉/语言层（默认全开）

• 模型导出

  • GGUF 格式：支持直接保存或推送至 Hugging Face
    python model.save_pretrained_gguf("dir", tokenizer, quantization_method="q4_k_m")
  • vLLM 兼容：需等待 v0.170 以上版本支持

注意事项

• 若训练速度异常，可能是 Qwen3.5 的 Mamba Triton 内核编译耗时导致（尤其 T4 GPU）
• 多 GPU 训练需设置 device_map = "balanced"（参考多 GPU 指南）
• 推理性能下降时，检查 聊天模板/EOS 标记 是否与训练一致

延伸资源

• 强化学习指南
• MoE 训练优化
• 问题排查文档

文档最后更新：3分钟前
官方社区：Reddit | Discord | GitHub

以下是评论内容的总结，平衡呈现不同观点并保留关键引用：

1. 对微调实用性的质疑
   有评论认为现代大语言模型（LLM）能力强大，微调的必要性降低，尤其是对比提示工程（prompt engineering）和检索增强生成（RAG）等替代方案。

   • "Modern LLMs are so powerful that they are able to few shot learn complicated things... fine tuning will be every day less relevant"（antirez）
   • "Does fine tuning really improve anything above just pure RAG approaches?"（aliljet）

2. 微调在特定场景的价值
   部分用户指出微调在边缘计算、低延迟或资源受限场景（如工业检测）中仍有优势，尤其是结合LoRA技术时。

   • "Fine-tuned Qwen models run surprisingly well on NVIDIA Jetson hardware... latency matters more than raw accuracy"（krasikra）
   • "LoRA fine-tuning keeps the model small enough to fit in unified memory"（krasikra）

3. 对Qwen开源未来的担忧
   有评论提到团队变动可能影响其开源策略，但未展开具体论据。

   • "Shame how a couple of the Qwen leads got kicked out... Hopefully this doesn’t mean the end of the open source era"（syntaxing）

4. 实际案例的询问
   一条评论直接询问微调模型的实际应用案例，但未获回答。

   • "What are some sample real world cases folks are using to fine tune their models?"（clueless）

争议焦点：微调的价值是否被现代LLM能力削弱，或仅在特定领域（如边缘设备）保留优势。