该项目是一个手把手教你从零开始构建GPT模型的实践教程，基于nanoGPT简化到10M参数规模，可在笔记本电脑上1小时内完成训练。参与者将亲自编写分词器、Transformer模型架构和训练循环等核心组件，不使用任何黑箱库，最终训练出能生成莎士比亚风格文本的小型语言模型。

从零开始训练自己的大语言模型

这是一个实践性工作坊，你将亲手编写GPT训练流程的每个组件，深入理解每个部分的功能和原理。

该项目灵感来源于Andrej Karpathy的nanoGPT，但将其精简为约1000万参数规模的模型，可在笔记本电脑上1小时内完成训练，适合单次工作坊完成。

你将构建什么

在MacBook上从零开始训练一个能生成莎士比亚风格文本的GPT模型。具体内容包括： - 分词器：将文本转换为模型可处理的数字 - 模型架构：包含嵌入层、注意力机制和前馈层的Transformer - 训练循环：前向传播、损失计算、反向传播、优化器和学习率调度 - 文本生成：从训练好的模型中进行采样

环境要求

• 任意笔记本电脑（Mac/Linux/Windows）
• Python 3.12+
• 能阅读Python代码（无需机器学习经验）

支持Apple Silicon GPU（MPS）、NVIDIA GPU（CUDA）或CPU自动切换，也可在Google Colab运行。

快速开始

本地运行（推荐）

安装uv工具后执行： bash uv sync mkdir scratchpad && cd scratchpad

Google Colab

上传项目文件后安装依赖： python !pip install torch numpy tqdm tiktoken

学习路径

| 章节 | 内容 | 核心概念 | |------|------|----------| | 分词 | 字符级分词器 | 字符编码、词汇量大小 | | Transformer | 完整GPT架构 | 自注意力机制、层归一化 | | 训练循环 | 完整训练流程 | 损失函数、梯度裁剪 | | 文本生成 | 推理采样 | 温度参数、自回归解码 |

模型架构概览

采用字符级分词（词汇量65）和256的块大小，包含： 1. 分词层 2. 词嵌入+位置编码 3. 多层Transformer块（含自注意力和前馈网络） 4. 输出层

参考配置

| 配置 | 参数量 | 训练时间(M3 Pro) | |------|--------|------------------| | 微型 | 50万 | 5分钟 | | 小型 | 400万 | 20分钟 | | 中型(默认) | 1000万 | 45分钟 |

关键参考资料

• nanoGPT项目
• 《Attention Is All You Need》原始论文
• GPT-2论文
• TinyStories研究

该项目特别适合希望深入理解LLM底层原理的开发者，通过亲手实践掌握Transformer核心机制。

这篇评论主要围绕一个大型语言模型(LLM)训练教程展开讨论，观点可分为三类：

1. 正面评价教程的实用性和易用性

• "This looks great for a first introduction...simple enough to try this locally"(评论1)
• "Nice. What scale does this realistically reach on a single machine?"(评论4)

2. 建议更深入的学习资源

• "I highly recommend checking out Stanford's CS336 class...covers all this curriculum in a lot more depth"(评论2)
• 提供了斯坦福课程链接作为补充资源

3. 对教程内容和实用性的质疑

• "Train your LM from scratch*...doubt you have a machine big enough"(评论3)
• "This looks like exact copy of this video of andrej karpathy"(评论6)
• 指出教程可能是复制他人视频内容

其他： - 评论5是幽默回应："Been doing it since the day I was born"(评论5)