MicroLLM lab 让你直接在浏览器里运行、评测和对比小型语言模型（Small Language Models，SLM），依靠硬件加速的 WebGPU，无需服务器和账号，数据全部留在本地。页面说，GPT-4、Claude 这类前沿模型服务成本高、有网络延迟，而 25M 到 360M 参数的紧凑模型可充当极快的边缘层，负责隐私计算、快速分类和意图提取，首字延迟低于 10 毫秒。Q4 指把权重从 16 位浮点压到 4 位，内存占用缩小 75%，100M 以上模型只需约 50 到 84 MB 浏览器内存。

设备端 AI 实验室 WebGPU · 零服务器 · Q4 量化

MicroLLM lab

直接在浏览器中运行、基准测试并比较小型语言模型（SLM），使用硬件加速的 WebGPU——100% 私密，零服务器成本，零账户。

🎯 为什么需要小型语言模型？

前沿模型（GPT-4、Claude）服务成本高达数百万，并增加网络延迟。紧凑模型（25M–360M）可作为超快、高效的边缘层：

• 边缘计算与隐私： 完全在手机或笔记本上运行。提示或用户数据永不离开设备。
• 快速分诊与任务路由： 毫秒级分类查询、过滤垃圾信息、提取意图，判断是否真的需要昂贵的云端 LLM。
• 零云成本： 由客户端 GPU 提供无限并发，无 API 账单。
• 超低延迟： 首个 token 时间低于 10ms，适合即时自动补全和实时 agent。

🔍 技术词汇

小型语言模型（SLM）一种紧凑神经模型（约 25M–360M 参数），为高效边缘智能和特定任务设计，而不是广泛百科知识。 Q4（4 位量化）把权重从 16 位浮点压缩到每参数 4 位，内存占用缩小 75%，让 100M+ 模型放进浏览器约 50–84 MB 内存，生成质量接近无损。 WebGPU 现代 W3C 标准 API，直接在浏览器窗口内于硬件 GPU（Apple Silicon Metal、DirectX 12、Vulkan）上执行 compute shader。

如何使用这个实验室，3 步：

1. 加载模型： 点击下方任一模型卡上的 Load。它会直接缓存到浏览器的私有 IndexedDB（不下载文件到磁盘）。
2. 在设备上聊天： 选择已加载模型，向下滚动到 Chat 面板，测试提示并观察实时 tok/s 速度。
3. 基准测试与比较： 切换到 Benchmarks 标签，运行客观速度/准确率测试，生成可分享的性能证书。

加载下列任一模型开始 ↓ 下载 zip（589 MB） GitHub

⚠️ ### 未检测到 WebGPU 硬件加速

MicroLLM lab 当前运行在 CPU fallback（WASM），约 8–20 tok/s。使用 WebGPU 时，模型直接在 GPU 硬件上运行，可达 100–300+ tok/s（约 10–20 倍快）。用户应使用 WebGPU，而不是 WASM。按以下说明启用：

检测到：Linux 上的浏览器 · 状态：WebGPU 未激活（无 GPU 适配器）

1. 确保使用支持 WebGPU 的最新现代浏览器（Chrome 113+、Edge 113+、Brave，或启用 WebGPU 的 Firefox）。
2. 确认浏览器设置中已启用硬件加速（例如 chrome://settings/system："Use graphics acceleration when available"）。

重新检查 WebGPU 重新加载页面 💡 替代方案：Google Chrome、Microsoft Edge 和 Brave 在 Linux 上开箱支持 WebGPU。

活动模型 已在此设备加载：无（0 of 605.6 MB）（保存在浏览器 IndexedDB 缓存） 加载所有模型 卸载全部

PetitGPT research-v1 125M · 74.4 MB · Apache-2.0 yangqi0 — 未加载 · 74.4 MB

SmolLM2 135M Instruct 135M · 80.3 MB · Apache-2.0 Hugging Face Smol Models Research — 未加载 · 80.3 MB

L20-Edu 135M 135M · 80.3 MB · Apache-2.0 AliceYin — 未加载 · 80.3 MB

SmolLM2 360M Instruct 362M · 215.9 MB · Apache-2.0 Hugging Face Smol Models Research — 未加载 · 215.9 MB

MiniMind2 104M 104M · 62.1 MB · Apache-2.0 jingyaogong — 未加载 · 62.1 MB

MiniMind2 Small 26M 25.8M · 15.4 MB · Apache-2.0 jingyaogong — 未加载 · 15.4 MB

GPT-2 124M（nanoGPT 形状） 124M · 77.1 MB · MIT OpenAI（Alec Radford 等） — 未加载 · 77.1 MB

PetitGPT research-v1

yangqi0 · 2025 · Apache-2.0 · yangqi0/petitgpt

GitHub 用户 yangqi0 在单张 RTX 4090 上训练 PetitGPT，作为小型语言模型研究项目，约 13B 预训练 token 位置：一个 124.6M Llama 风格解码器（pre-norm RMSNorm、分组查询注意力 9/3、RoPE、SwiGLU、绑定嵌入），以 Apache-2.0 发布。这个实验室是该架构和检查点的 WebGPU 移植——不是对该工作的替代。它通常是这一组里最快的模型，也是其他模型的参考基线。

权重尚未加载。

客观检查（正则/精确 token），不是写作质量。135M 模型允许失败——那正是测量。选择模型后运行。估算使用你上次的 tok/s。活动模型约 18 秒，所有 0 个已加载约 18 秒；每个 21 项测试；首次生成前假设约 80 tok/s。2016 年的 GPU 通常比 M4 慢 3–8 倍。

在活动模型上运行套件 在每个已加载模型上运行套件 运行持续速度测试（256 token）

🏎️ 最高峰值速度 — 最快单项测试 ⚡ 最高持续速度 — 连续 256-tok 解码 📊 平均持续速度 — 跨测试模型 ⏱️ 总基准分数 — 累计套件墙钟时间

每项测试运行时间（ms）

每项测试准确率

速度（tokens/s，持续解码，套件墙钟）和准确率（客观测试通过率）来自此浏览器中的运行。数字留在这台机器上。图表使用每个模型最新的套件。

🏎️ 最高峰值速度 — 最快单项测试 ⚡ 最高持续速度 — 连续 256-tok 解码 📊 平均持续速度 — 跨已加载模型 ⏱️ 总基准分数 — 总执行墙钟时间

准确率（最新套件）

速度（平均 tok/s）

套件墙钟（ms）

尚无套件运行。运行基准测试后再回到这里。

清除已保存比较

🏆 ### 可验证基准证书与社交分享

生成并下载可验证的性能证书，包含你的设备硬件、峰值和持续 tokens/秒，并分享你的分数。

你的姓名或账号

设备与硬件信息

🎨 生成证书

⬇️ 下载证书图片（.png） 📋 复制图片 𝕏 分享到 X 💼 分享到 LinkedIn 🔗 复制文本摘要

用 JavaScript 编写基准测试

编辑器会在当前源中执行 eval()，然后每个 check 在模型解码文本上运行。提供对象示例、函数示例，以及 Eval and run。

函数形式

函数返回一个基准对象，包含 id、name、maxNewTokens、tests；每个测试对象包含 id、prompt、check(text)，check 用正则判断是否通过并返回详情。

为更大的 LLM 写提示

复制提示

运行时

后端 无 模型 无 tok/s — TTFT — 墙钟 — 停止 — JS 堆 5.1 MB GPU 缓冲区 — IndexedDB 0 B

适配器：尚未查询

• [x] 优先 WebGPU，回退到 WASM，再到 JS

日志

这个浏览器端小模型演示被普遍当作有趣的技术玩票而非可用工具：多数人拿它做算术和常识问答来举证小模型胡言乱语，几乎所有人都顺带吐槽页面 UI 把真正的界面埋在大量 AI 生成的废话后面；少数人则更关心端侧模型进浏览器的路线，并顺手贴出各自的同类项目。

这些模型是玩具，别指望它们回答对简单问题

• 有人问 2+2，模型先给出正确答案，又莫名其妙"在等式两边各加 2"，结论成了 4+2；有人问加州人口，得到 1.53 亿和 3.25 亿两个互相打架的数字，还硬说自己是人口最多、GDP 最高的州。也有人夸它响应很快，哪怕没有像样的 GPU。（较多人） > 它把提示里的"Claude 某版本"当成一个童话角色来比较，这基本说明了一切。（@mgaunard）
• 相关的一个玩笑：有人拿"刚从淡水装满的浴缸该怎么做"去问它，结果得到一套"先往水浴里加一汤匙水"之类的荒谬步骤，正好印证指令跟随的失败。（少数人）

界面把最重要的东西藏起来了

• 文字太小、信息密度过高；产品本身用起来很简单，却要先滚过一整页基本没用的 AI 生成文字才能碰到真正的界面。页脚逻辑也让人困惑——为什么链接回自己、为什么提示"通过 HTTP 提供服务"。（较多人）

术语用错了，这根本不叫 LLM

• 网站自己写的是 SLM；也有人说按规模该叫 TLM；还有人顺手指正标题里的所有格写法错误。（少数人） > 那这个不该叫 TLM 吗？（@derliebej）

真正值得兴奋的是浏览器能直接访问端侧模型

• 有人正在推进一个叫 Web Models API 的提案，想把它变成"在设备上跑开放权重模型"的浏览器标准；也有人认为只给一个聊天框太受限，自己做了更偏多模态、可离线的版本。（少数人）

有价值的补充

• 在 Firefox 上会直接抛错 GPUShaderStage is not defined，整站基本打不开；另有人认为这个站在自己这儿根本跑不起来，说明 WebGPU 相关能力的浏览器兼容仍是硬约束。
• 有人上个月用同一批模型做过类似东西，但走的是 Three.js 的着色语言抽象层（three-llm），把推理结果接到 3D 渲染管线里。
• 如果只想让人最快看到 token 长什么样，有个更极简的做法：用 Tiny Stories 训练的极小模型，顺带演示三元模型（相关论文 arXiv:2305.07759），同一页面还挂着更大的问答模型。
• 评论区贴出的同类项目思路各不相同：有专注安全破解的测试站、有综合实验页、也有把视觉能力塞进 WebGPU 的 Gemma 变体——说明这条路线上的分歧不在于"能不能做"，而在于"做出来给谁用"。