nanoGPT 实操指南3分钟上手训练自己的 GPT从字符级到复现 GPT-2【免费下载链接】nanoGPTThe simplest, fastest repository for training/finetuning medium-sized GPTs.项目地址: https://gitcode.com/GitHub_Trending/na/nanoGPT想自己练一个 GPT通常绕不开三个麻烦框架代码动辄上万行一条训练逻辑都追不到底硬件门槛高小显卡连模型都加载不进来改一行参数却不知道动到了什么。nanoGPT 把 GPT 的训练/微调流程压缩到了最小形态——model.py和train.py两个核心文件各约 300 行单张 GPU 三分钟训出一个字符级 GPT8 卡 A100 上能复现 GPT-2124M。⚙️ nanoGPT 是什么一句话定位与四个核心能力一句话nanoGPT 是面向中型 GPT 的最轻量训练/微调仓库。如果说别的训练框架是铺满产线的工厂nanoGPT 更像只有台数控车床的作坊——零件不多但每个都能拆开看个明白。四个差异化点两个核心文件合计约 600 行train.py是标准训练循环model.py是 GPT 定义一两个下午能通读改哪都心里有数性能有硬指标单节点 8XA100 40GB 约 4 天复现 GPT-2124M最终验证损失约 2.85与 OpenAI 官方水平相当硬件可以随便降档从单张 A100、纯 CPU 的 MacBook到 Apple Silicon 的 MPS 加速都有现成命令全链路自带数据准备脚本、训练入口、采样脚本、微调配置外加性能基准bench.py不用自己拼工具链 nanoGPT 最快上手路径从安装依赖到第一次生成第一步安装依赖pip install torch numpy transformers datasets tiktoken wandb tqdm逐个说torch是框架本体transformers用来加载 OpenAI 的 GPT-2 权重tiktoken是 GPT-2 的 BPE 分词器datasets只在下载 OpenWebText 时才用得上wandb做训练日志tqdm画进度条。第二步获取代码git clone https://gitcode.com/GitHub_Trending/na/nanoGPT cd nanoGPT第三步准备第一个数据集python data/shakespeare_char/prepare.py脚本会下载一份约 1MB 的莎士比亚文本集tinyshakespeare把原文翻成模型能读的数字流按 9:1 切分。产出三个文件train.bin、val.bin整数 id 序列和meta.pkl字符与整数的对照表。字符级编码的词表只有 65 个字符所以整个准备过程就是几秒钟的事。第四步启动第一次训练python train.py config/train_shakespeare_char.py配置文件给定的规格256 字符上下文、6 层 Transformer、6 个头、384 维嵌入、批大小 64、跑 5000 次迭代。A100 上大约 3 分钟跑完最佳验证损失 1.4697checkpoint 写到out-shakespeare-char/ckpt.pt。只有 CPU 或轻薄本的话把参数降档python train.py config/train_shakespeare_char.py --devicecpu --compileFalse --block_size64 --batch_size12 --n_layer4 --n_head4 --n_embd128 --max_iters2000 --lr_decay_iters2000 --dropout0.0--devicecpu指定用 CPU 跑--compileFalse关掉 PyTorch 2.0 编译某些环境不可用CPU 上也没必要--block_size64把上下文从 256 缩到 64 个字符批大小缩到 12网络缩到 4 层 4 头 128 维迭代数减半并把学习率衰减终点跟着调到 2000--dropout0.0关掉 dropout因为网络本来就小、这个数据集就是要过拟合。Apple Silicon 的 Mac 改用--devicemps调用芯片内嵌 GPU速度比 CPU 快 2-3 倍。第五步生成第一段文本python sample.py --out_dirout-shakespeare-char脚本加载out_dir下的最佳 checkpoint打印几条生成结果。字符级模型只训了 3 分钟输出保证有错字但莎翁腔已经出来了ANGELO: And cowards it be strawn to my bed, And thrust the gates of my threats,到这里装环境、备数据、训练、生成完整闭环已经走通。️ 核心流程任务卡任务一用采样参数调出生成质量做什么sample.py里几个参数直接决定输出好不好看先把它们摸清。怎么做python sample.py --out_dirout-shakespeare-char --startTo be or not to be --num_samples3 --max_new_tokens200 --temperature0.7--start指定开头提示词--num_samples生成几条--max_new_tokens每条生成长度--temperature控制随机性低于 1.0 更保守、高于 1.0 更放飞。还有个隐藏用法--startFILE:prompt.txt可以把一整个文件当提示词喂进去。看到什么温度调低后生成更贴合训练语料的腔调调高则更容易跑偏到胡话。CPU 版小模型损失约 1.88出来的句子会更破碎属正常现象。任务二微调预训练 GPT-2做什么从零训的小模型语言不通换个思路——拿 OpenAI 的预训练权重在目标语料上少训几轮。怎么做先用 BPE 分词版的数据准备脚本和字符级不同这个走 GPT-2 的 tokenizerpython data/shakespeare/prepare.py python train.py config/finetune_shakespeare.py微调配置里三个关键项init_from gpt2-xl决定从哪个预训练模型出发可选gpt2到gpt2-xl四档learning_rate 3e-5配decay_lr False即恒定小学习率防止把预训练好的能力冲掉max_iters 20配合batch_size1和 32 步梯度累积一次迭代吃 32768 个 token而莎士比亚全集才约 30 万 token20 次迭代差不多两轮。单卡几分钟跑完产物在out-shakespeare/。看到什么python sample.py --out_dirout-shakespeare生成质量是台阶式提升句式完整、用词讲究THEODORE: Thou shalt sell me to the highest bidder: if I die, I sell thee to the first; if I go mad,任务三8 卡复现 GPT-2 124M做什么把完整复现走一遍拿到与 GPT-2 官方对标的验证损失。怎么做先准备 OpenWebTextGPT-2 原始训练数据的开源复刻版这一步要下载并分词耗时明显长于前两步python data/openwebtext/prepare.py生成train.bin/val.binuint16 存储的 GPT-2 BPE id后上 8 卡分布式训练torchrun --standalone --nproc_per_node8 train.py config/train_gpt2.py配置里批大小 12、上下文 1024、梯度累积 405×8 卡总批约 50 万 token/迭代max_iters 600000对应约 3000 亿 token 的训练量。单节点 8XA100 40GB 上大约跑 4 天。看到什么验证损失降到约 2.85。官方 GPT-2 在 OpenWebText 上直接评是 3.11但微调后也能到 2.85 一档所以两者算打平。 进阶玩法nanoGPT 还能做什么拿现成的 GPT-2 当生成器。不训练也能玩--init_from直接加载 OpenAI 权重比如生成论文风格的摘要开头python sample.py --init_fromgpt2-xl \ --startThis paper presents a novel approach to scaling language models \ --num_samples1 --max_new_tokens300gpt2-xl是 15 亿参数的最大档单卡显存不够就换gpt2或gpt2-medium。换成自己的语料。仓库里的数据脚本就是模板data/shakespeare_char/prepare.py展示了下载文本 → 编码成整数 → 存 train.bin/val.bin/meta.pkl的最小流程。把它改成读你的文本比如公司文档、代码、歌词再配一个自己的config/xxx.py就是一个领域模型的完整训练方案。评测官方模型基线。config/下有四个现成评测配置python train.py config/eval_gpt2.py python train.py config/eval_gpt2_xl.py跑完能对照官方 checkpoint 在 OpenWebText 上的验证损失gpt2 约 3.12gpt2-xl 约 2.54给自己的实验一个锚点。看性能数据。bench.py剥离了训练循环里所有外围逻辑只留前向反向的核心用来量每次迭代耗时、排查显存和速度问题。️ 避坑手册训练 GPT 时 5 个高频问题1. 启动时报 torch.compile 相关错误→ 原因仓库默认走 PyTorch 2.0 的torch.compile这功能还带实验性质部分平台如 Windows不支持。 → 解决命令后加--compileFalse速度慢一些但能跑。2. CUDA out of memory→ 原因模型档位、批大小或上下文长度超出了显存。 → 解决减小block_size上下文长度或换小一档的init_from如gpt2-xl降为gpt2-medium想保有效批大小就用gradient_accumulation_steps攒梯度用小物理批模拟大逻辑批。3. 报 Unknown config key 错误→ 原因configurator.py的覆盖机制很严格——命令行只认--参数值形式且参数名必须在配置文件里已存在、类型必须一致布尔值要写True/False而不是true。 → 解决打开对应config/文件核对参数名和类型不存在的参数不能凭空传。4. 采样输出完全是乱码→ 原因训练迭代数太少或者用的是 CPU 降档小模型损失停在 1.8 以上。 → 解决加max_iters重训更省事的办法是走任务二的路线微调预训练 GPT-2质量提升是台阶式的。5. 多机训练慢得离谱→ 原因没有 InfiniBand 时NCCL 跨机通信走普通网络带宽撑不住 8 卡×N 节点的梯度同步。 → 解决torchrun 命令前加NCCL_IB_DISABLE1环境变量训练能跑起来但 README 的原话是大概率爬行先评估机器再上多节点。 路径选择按目标挑下一步只想玩玩把sample.py的--temperature和--top_k调到满意为止感受采样参数的实际效果照抄data/shakespeare_char/prepare.py的逻辑换成自己喜欢的语料再训一遍跑一下bench.py看看自己机器上一次迭代多少毫秒想深挖原理model.py和train.py逐行精读各 300 行是理解 GPT 训练全链路成本最低的材料README 提到作者的 Zero To Hero 系列教程配套了 GPT 主题视频边读边看按 README todos 里的方向动手比如把位置编码换成 RoPE / ALiBi改完用复现任务三的流程验证想部署上线直接复用sample.py的加载逻辑GPT.from_pretrained(gpt2)或读out_dir/ckpt.pt包一层接口就是推理服务的最小内核生产环境留意混合精度--dtype和--compileTrue两个提速开关README 里实测编译把单迭代从约 250ms 压到 135msnanoGPT 的价值不在强而在小到能装进脑子——把这两份 300 行的文件读透之后任何 GPT 训练框架你都有底。【免费下载链接】nanoGPTThe simplest, fastest repository for training/finetuning medium-sized GPTs.项目地址: https://gitcode.com/GitHub_Trending/na/nanoGPT创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 nanoGPT 实操指南：3分钟上手训练自己的 GPT，从字符级到复现 GPT-2
nanoGPT 实操指南3分钟上手训练自己的 GPT从字符级到复现 GPT-2【免费下载链接】nanoGPTThe simplest, fastest repository for training/finetuning medium-sized GPTs.项目地址: https://gitcode.com/GitHub_Trending/na/nanoGPT想自己练一个 GPT通常绕不开三个麻烦框架代码动辄上万行一条训练逻辑都追不到底硬件门槛高小显卡连模型都加载不进来改一行参数却不知道动到了什么。nanoGPT 把 GPT 的训练/微调流程压缩到了最小形态——model.py和train.py两个核心文件各约 300 行单张 GPU 三分钟训出一个字符级 GPT8 卡 A100 上能复现 GPT-2124M。⚙️ nanoGPT 是什么一句话定位与四个核心能力一句话nanoGPT 是面向中型 GPT 的最轻量训练/微调仓库。如果说别的训练框架是铺满产线的工厂nanoGPT 更像只有台数控车床的作坊——零件不多但每个都能拆开看个明白。四个差异化点两个核心文件合计约 600 行train.py是标准训练循环model.py是 GPT 定义一两个下午能通读改哪都心里有数性能有硬指标单节点 8XA100 40GB 约 4 天复现 GPT-2124M最终验证损失约 2.85与 OpenAI 官方水平相当硬件可以随便降档从单张 A100、纯 CPU 的 MacBook到 Apple Silicon 的 MPS 加速都有现成命令全链路自带数据准备脚本、训练入口、采样脚本、微调配置外加性能基准bench.py不用自己拼工具链 nanoGPT 最快上手路径从安装依赖到第一次生成第一步安装依赖pip install torch numpy transformers datasets tiktoken wandb tqdm逐个说torch是框架本体transformers用来加载 OpenAI 的 GPT-2 权重tiktoken是 GPT-2 的 BPE 分词器datasets只在下载 OpenWebText 时才用得上wandb做训练日志tqdm画进度条。第二步获取代码git clone https://gitcode.com/GitHub_Trending/na/nanoGPT cd nanoGPT第三步准备第一个数据集python data/shakespeare_char/prepare.py脚本会下载一份约 1MB 的莎士比亚文本集tinyshakespeare把原文翻成模型能读的数字流按 9:1 切分。产出三个文件train.bin、val.bin整数 id 序列和meta.pkl字符与整数的对照表。字符级编码的词表只有 65 个字符所以整个准备过程就是几秒钟的事。第四步启动第一次训练python train.py config/train_shakespeare_char.py配置文件给定的规格256 字符上下文、6 层 Transformer、6 个头、384 维嵌入、批大小 64、跑 5000 次迭代。A100 上大约 3 分钟跑完最佳验证损失 1.4697checkpoint 写到out-shakespeare-char/ckpt.pt。只有 CPU 或轻薄本的话把参数降档python train.py config/train_shakespeare_char.py --devicecpu --compileFalse --block_size64 --batch_size12 --n_layer4 --n_head4 --n_embd128 --max_iters2000 --lr_decay_iters2000 --dropout0.0--devicecpu指定用 CPU 跑--compileFalse关掉 PyTorch 2.0 编译某些环境不可用CPU 上也没必要--block_size64把上下文从 256 缩到 64 个字符批大小缩到 12网络缩到 4 层 4 头 128 维迭代数减半并把学习率衰减终点跟着调到 2000--dropout0.0关掉 dropout因为网络本来就小、这个数据集就是要过拟合。Apple Silicon 的 Mac 改用--devicemps调用芯片内嵌 GPU速度比 CPU 快 2-3 倍。第五步生成第一段文本python sample.py --out_dirout-shakespeare-char脚本加载out_dir下的最佳 checkpoint打印几条生成结果。字符级模型只训了 3 分钟输出保证有错字但莎翁腔已经出来了ANGELO: And cowards it be strawn to my bed, And thrust the gates of my threats,到这里装环境、备数据、训练、生成完整闭环已经走通。️ 核心流程任务卡任务一用采样参数调出生成质量做什么sample.py里几个参数直接决定输出好不好看先把它们摸清。怎么做python sample.py --out_dirout-shakespeare-char --startTo be or not to be --num_samples3 --max_new_tokens200 --temperature0.7--start指定开头提示词--num_samples生成几条--max_new_tokens每条生成长度--temperature控制随机性低于 1.0 更保守、高于 1.0 更放飞。还有个隐藏用法--startFILE:prompt.txt可以把一整个文件当提示词喂进去。看到什么温度调低后生成更贴合训练语料的腔调调高则更容易跑偏到胡话。CPU 版小模型损失约 1.88出来的句子会更破碎属正常现象。任务二微调预训练 GPT-2做什么从零训的小模型语言不通换个思路——拿 OpenAI 的预训练权重在目标语料上少训几轮。怎么做先用 BPE 分词版的数据准备脚本和字符级不同这个走 GPT-2 的 tokenizerpython data/shakespeare/prepare.py python train.py config/finetune_shakespeare.py微调配置里三个关键项init_from gpt2-xl决定从哪个预训练模型出发可选gpt2到gpt2-xl四档learning_rate 3e-5配decay_lr False即恒定小学习率防止把预训练好的能力冲掉max_iters 20配合batch_size1和 32 步梯度累积一次迭代吃 32768 个 token而莎士比亚全集才约 30 万 token20 次迭代差不多两轮。单卡几分钟跑完产物在out-shakespeare/。看到什么python sample.py --out_dirout-shakespeare生成质量是台阶式提升句式完整、用词讲究THEODORE: Thou shalt sell me to the highest bidder: if I die, I sell thee to the first; if I go mad,任务三8 卡复现 GPT-2 124M做什么把完整复现走一遍拿到与 GPT-2 官方对标的验证损失。怎么做先准备 OpenWebTextGPT-2 原始训练数据的开源复刻版这一步要下载并分词耗时明显长于前两步python data/openwebtext/prepare.py生成train.bin/val.binuint16 存储的 GPT-2 BPE id后上 8 卡分布式训练torchrun --standalone --nproc_per_node8 train.py config/train_gpt2.py配置里批大小 12、上下文 1024、梯度累积 405×8 卡总批约 50 万 token/迭代max_iters 600000对应约 3000 亿 token 的训练量。单节点 8XA100 40GB 上大约跑 4 天。看到什么验证损失降到约 2.85。官方 GPT-2 在 OpenWebText 上直接评是 3.11但微调后也能到 2.85 一档所以两者算打平。 进阶玩法nanoGPT 还能做什么拿现成的 GPT-2 当生成器。不训练也能玩--init_from直接加载 OpenAI 权重比如生成论文风格的摘要开头python sample.py --init_fromgpt2-xl \ --startThis paper presents a novel approach to scaling language models \ --num_samples1 --max_new_tokens300gpt2-xl是 15 亿参数的最大档单卡显存不够就换gpt2或gpt2-medium。换成自己的语料。仓库里的数据脚本就是模板data/shakespeare_char/prepare.py展示了下载文本 → 编码成整数 → 存 train.bin/val.bin/meta.pkl的最小流程。把它改成读你的文本比如公司文档、代码、歌词再配一个自己的config/xxx.py就是一个领域模型的完整训练方案。评测官方模型基线。config/下有四个现成评测配置python train.py config/eval_gpt2.py python train.py config/eval_gpt2_xl.py跑完能对照官方 checkpoint 在 OpenWebText 上的验证损失gpt2 约 3.12gpt2-xl 约 2.54给自己的实验一个锚点。看性能数据。bench.py剥离了训练循环里所有外围逻辑只留前向反向的核心用来量每次迭代耗时、排查显存和速度问题。️ 避坑手册训练 GPT 时 5 个高频问题1. 启动时报 torch.compile 相关错误→ 原因仓库默认走 PyTorch 2.0 的torch.compile这功能还带实验性质部分平台如 Windows不支持。 → 解决命令后加--compileFalse速度慢一些但能跑。2. CUDA out of memory→ 原因模型档位、批大小或上下文长度超出了显存。 → 解决减小block_size上下文长度或换小一档的init_from如gpt2-xl降为gpt2-medium想保有效批大小就用gradient_accumulation_steps攒梯度用小物理批模拟大逻辑批。3. 报 Unknown config key 错误→ 原因configurator.py的覆盖机制很严格——命令行只认--参数值形式且参数名必须在配置文件里已存在、类型必须一致布尔值要写True/False而不是true。 → 解决打开对应config/文件核对参数名和类型不存在的参数不能凭空传。4. 采样输出完全是乱码→ 原因训练迭代数太少或者用的是 CPU 降档小模型损失停在 1.8 以上。 → 解决加max_iters重训更省事的办法是走任务二的路线微调预训练 GPT-2质量提升是台阶式的。5. 多机训练慢得离谱→ 原因没有 InfiniBand 时NCCL 跨机通信走普通网络带宽撑不住 8 卡×N 节点的梯度同步。 → 解决torchrun 命令前加NCCL_IB_DISABLE1环境变量训练能跑起来但 README 的原话是大概率爬行先评估机器再上多节点。 路径选择按目标挑下一步只想玩玩把sample.py的--temperature和--top_k调到满意为止感受采样参数的实际效果照抄data/shakespeare_char/prepare.py的逻辑换成自己喜欢的语料再训一遍跑一下bench.py看看自己机器上一次迭代多少毫秒想深挖原理model.py和train.py逐行精读各 300 行是理解 GPT 训练全链路成本最低的材料README 提到作者的 Zero To Hero 系列教程配套了 GPT 主题视频边读边看按 README todos 里的方向动手比如把位置编码换成 RoPE / ALiBi改完用复现任务三的流程验证想部署上线直接复用sample.py的加载逻辑GPT.from_pretrained(gpt2)或读out_dir/ckpt.pt包一层接口就是推理服务的最小内核生产环境留意混合精度--dtype和--compileTrue两个提速开关README 里实测编译把单迭代从约 250ms 压到 135msnanoGPT 的价值不在强而在小到能装进脑子——把这两份 300 行的文件读透之后任何 GPT 训练框架你都有底。【免费下载链接】nanoGPTThe simplest, fastest repository for training/finetuning medium-sized GPTs.项目地址: https://gitcode.com/GitHub_Trending/na/nanoGPT创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考