CanIRun.ai是一个帮助用户检测本地设备能否运行特定AI模型的工具网站。它通过浏览器API评估设备性能，提供不同AI模型的运行评分和推荐配置，包括Llama、Qwen等主流模型，并显示内存占用、推理速度等关键参数，方便用户选择合适的模型在本地运行。

CanIRun.ai：你的设备能运行哪些AI模型？

【核心功能】 CanIRun.ai是一个在线工具平台，主要帮助用户评估本地设备运行各类AI模型的可行性。平台通过浏览器API进行性能估算（实际规格可能存在差异），并提供从轻量级到超大规模模型的详细运行能力分析。

【模型分类展示】 1. 可流畅运行模型（S/A级）： - Qwen 3.5 0.8B（0.5GB/6%内存占用/70 token/s） - Llama 3.2 1B（0.5GB/6%/70 token/s） - TinyLlama 1.1B（0.6GB/8%/58 token/s） 特点：专为边缘设备设计，适用于嵌入式场景

2. 中等负荷模型（B/C级）：

• Phi-3.5 Mini（1.9GB/24%/18 token/s）
• Mistral 7B v0.3（3.6GB/45%/10 token/s） 特点：平衡性能与资源消耗

3. 高负荷模型（D/F级）：

• Llama 3.1 8B（4.1GB/51%/9 token/s）
• Qwen 3.5 9B（4.6GB/57%/8 token/s）
• Phi-4 14B（7.2GB/90%/无法运行） 特点：需要高性能硬件支持

4. 超大规模模型：

• DeepSeek V3.2（350.9GB/4386%）
• Kimi K2（512.2GB/6403%） 特点：仅适合专业计算集群

【技术特性】 - 量化支持：Q2K至Q80多种精度 - 架构类型：包含Dense/MoE等 - 应用领域：聊天/编程/多模态/推理等 - 上下文长度：最高达1024K tokens

【数据来源】 集成llama.cpp、Ollama和LM Studio的基准测试数据，开发者midudev构建。

注：性能评估基于~50GB/s的内存带宽假设，实际结果可能因设备配置差异而不同。

以下是评论内容的总结：

1. 功能认可与赞赏

• 用户认为该工具实用且有趣，能满足需求。
  • "Cool thing!" (sxates)
  • "Oh how cool. Always wanted to have a tool like this." (S4phyre)

2. 功能改进建议

• 硬件选项扩展：建议增加更多硬件选项，如RTX Pro 6000、A18 Neo、Raspberry Pi等。
  • "RTX Pro 6000 is a glaring omission." (John23832)
  • "could you add raspi to the list to see which ridiculously small models it can run?" (gbrl)
• 性能显示优化：建议支持按模型查看所有处理器的性能。
  • "It'd be great if I could flip this around and choose a model, and then see the performance for all the different processors." (sxates)
• 模型能力评级：建议增加模型能力的评级，帮助用户选择。
  • "I miss to also have some rating of the model capabilities." (carra)

3. 数据准确性质疑

• 用户指出工具在硬件兼容性和性能预测上不准确。
  • "This doesn't look accurate to me. I have an RX9070 and I've been messing around with Qwen 3.5 35B-A3B. According to this site I can't even run it, yet I'm getting 32tok/s." (AstroBen)
  • "It says I have an Arc 750 with 2 GB of shared RAM, because that's the GPU that renders my browser...but I actually have an RTX1000 Ada with 6 GB of GDDR6." (LeifCarrotson)

4. 量化与内存管理

• 用户强调量化级别对模型运行的重要性。
  • "The question is not 'can I run 13B' but 'what quantization level gives acceptable quality at my hardware ceiling'." (Felixbot)
• 工具未充分考虑共享内存和KV缓存卸载策略。
  • "It also does not understand that you can share CPU memory with the GPU, or perform various KV cache offloading strategies." (LeifCarrotson)

5. 模型实用性争议

• 部分用户认为本地模型效果不佳，实用性有限。
  • "I tried few models at 128GB and it's all pretty much rubbish." (varispeed)
• 也有用户表示小模型在特定场景下足够使用。
  • "My Mac mini rocks qwen2.5 14b at a lightning fast 11/tokens a second... good enough for the long term data processing." (kylehotchkiss)

6. 其他工具对比

• 用户提到类似工具（如Hugging Face、LM Studio）的优缺点。
  • "Hugging Face can already do this for you... However they don't attempt to estimate tok/sec." (metalliqaz)
  • "Is this just llmfit but a web version of it?" (twampss)

7. 技术细节问题

• 用户反馈界面和功能的小问题。
  • "On mobile it does not show the name of the model in favor of the other stats." (charcircuit)
  • "For me the 'can run' filter says 'S/A/B' but lists S, A, B, and C." (debatem1)