tinygrad 从入门到跑通 5 个关键点懒加载、内核融合与 TinyJit 实战【免费下载链接】tinygradYou like pytorch? You like micrograd? You love tinygrad! ❤️项目地址: https://gitcode.com/GitHub_Trending/tiny/tinygrad用 PyTorch 训练一个模型源码动辄几万行内核到底怎么生成的、为什么慢你基本只能当黑盒用micrograd 又太迷你连一个正经卷积都没有。tinygrad 就是卡在两者之间的深度学习框架保留 PyTorch 那种Tensor点式 API 的手感同时把编译器、自动微分和内核生成都压到纯 Python 里几千行代码你可以逐行读完单步训练还能靠 JIT 跑出 75 倍加速。先说结果你最终能拿到什么四样东西懒加载执行不手动触发一行计算都不会真正跑、内核融合一串算子合并成一个 kernel、TinyJit捕获后重放单步训练从约 75ms 压到约 1ms、多后端CPU、CUDA、Metal、OpenCL 等。官方教程里同样的 MNIST 卷积网普通写法约 75ms/步套上TinyJit之后约 1ms/步。左边是 PyTorch 一系要垫 cuDNN、cuBLAS、TensorRT 好几层右边 tinygrad 直接对着汇编器/内核走——少了几层也就少了几个黑盒。用 Tensor 写操作像 NumPy但不改原值from tinygrad import Tensor之后x 1、x.dot(w)、x.relu()这些写法跟你在其他框架里见过的一模一样。区别在于每个操作返回的都是一张待计算的新表不会原地改动数据。写十行链式调用此刻你手里只是十行菜谱。懒加载执行调 .realize() 才算真的动手菜谱只是菜谱。tinygrad 里所有算子都是懒的直到你调用.realize()、.numpy()或.item()调度器才把依赖链排好、融合后发到设备上执行。这个延迟给了它空间先看清整条依赖链再决定哪些算子能合并。看内核生成DEBUG4 直接打印设备代码设DEBUG3能看到融合后的 kernel 列表DEBUG4直接打印生成代码。README 里的演示很直观把一个矩阵乘法拆成reshape * matmul * sum三步写法tinygrad 会把它融合成单个 kernel——因为懒加载让它看得到完整的算子链而不是算一个发一个。挂上 TinyJit跳过 Python 的捕获-重放加速TinyJit的思路是笨重放前两次调用正常执行并捕获 kernel第三次起只按捕获好的序列重放省掉 Python 层的调度和 Python 解释开销。这也是为什么官方教程里它能把 75ms 的步耗时干到 1ms 量级。注意它连优化器更新一起 JIT 了相当于把整个训练步都固化成设备上的指令流。动手走一遍三趟跑通最小闭环① 装好环境。推荐从源码装git clone https://gitcode.com/GitHub_Trending/tiny/tinygrad进目录后执行python3 -m pip install -e .。装完用from tinygrad import Device; print(Device.DEFAULT)确认默认后端无卡环境会显示CPU够调试用。② 写一个最小例子感受懒加载。from tinygrad import Tensor a Tensor.rand(1024, 1024) b a a print(a.shape) # 到这里还没执行任何计算 print(b.numpy()) # 现在才真正上设备跑③ 跑完整例子。直接执行 examples/beautiful_mnist.py一个带卷积、BatchNorm 和 TinyJit 的 MNIST 分类器T4 上约 5 秒到 98% 准确率CPU 上会慢很多但流程一致。想读逐步讲解版看 docs/mnist.md。容易踩的坑 高频问题现象代码全跑完了.item()之前 GPU 一点动静没有。 原因一切都是懒加载没触发点就没有真实计算。 解法链尾加.realize()或者取.item()/.numpy()自然触发。现象backward()调用完打印梯度发现是空的或没变。 原因backward()只构建反向图不立即算同样受懒加载支配。 解法对 loss 取.item()或调.realize()后再看.grad。现象输入尺寸一变JIT 结果就怪或者非 Tensor 的 Python 变量冻住了。 原因重放按捕获时的形状执行且从第二次运行起影响 kernel 的 Python 值会被冻结这是设计行为而非 bug。 解法变尺寸的调用拆成单独的 JIT 函数或者干脆不 JIT 那条路径只让 Tensor 参与被捕获的逻辑。现象以为在 GPU 上跑实际在 CPU 上慢跑。 原因后端由Device.DEFAULT决定装了驱动不等于自动选 GPU。 解法打印Device.DEFAULT确认必要时用环境变量显式指定设备。延伸 下一步想用真实训练速度对标 PyTorch试试 BEAM 搜索with Context(BEAM2)会离线枚举多种内核实现、挑最快的并缓存结果适合跑通基础流程之后做性能调优。想搞懂框架内部从 test/backend/test_ops.py 入手最划算它把每个 API 的语义都用测试写清楚了。想复现大模型extra/models/ 里躺着手写的 LLaMA、EfficientNet、ViT 等参考实现examples/ 则有成体系的训练与推理样例。现在就去把 beautiful_mnist 跑起来再打开 DEBUG4 看一眼它替你生成的代码——读完那几行你对框架内部的恐惧基本就消了一半。【免费下载链接】tinygradYou like pytorch? You like micrograd? You love tinygrad! ❤️项目地址: https://gitcode.com/GitHub_Trending/tiny/tinygrad创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考 tinygrad 从入门到跑通 5 个关键点：懒加载、内核融合与 TinyJit 实战
tinygrad 从入门到跑通 5 个关键点懒加载、内核融合与 TinyJit 实战【免费下载链接】tinygradYou like pytorch? You like micrograd? You love tinygrad! ❤️项目地址: https://gitcode.com/GitHub_Trending/tiny/tinygrad用 PyTorch 训练一个模型源码动辄几万行内核到底怎么生成的、为什么慢你基本只能当黑盒用micrograd 又太迷你连一个正经卷积都没有。tinygrad 就是卡在两者之间的深度学习框架保留 PyTorch 那种Tensor点式 API 的手感同时把编译器、自动微分和内核生成都压到纯 Python 里几千行代码你可以逐行读完单步训练还能靠 JIT 跑出 75 倍加速。先说结果你最终能拿到什么四样东西懒加载执行不手动触发一行计算都不会真正跑、内核融合一串算子合并成一个 kernel、TinyJit捕获后重放单步训练从约 75ms 压到约 1ms、多后端CPU、CUDA、Metal、OpenCL 等。官方教程里同样的 MNIST 卷积网普通写法约 75ms/步套上TinyJit之后约 1ms/步。左边是 PyTorch 一系要垫 cuDNN、cuBLAS、TensorRT 好几层右边 tinygrad 直接对着汇编器/内核走——少了几层也就少了几个黑盒。用 Tensor 写操作像 NumPy但不改原值from tinygrad import Tensor之后x 1、x.dot(w)、x.relu()这些写法跟你在其他框架里见过的一模一样。区别在于每个操作返回的都是一张待计算的新表不会原地改动数据。写十行链式调用此刻你手里只是十行菜谱。懒加载执行调 .realize() 才算真的动手菜谱只是菜谱。tinygrad 里所有算子都是懒的直到你调用.realize()、.numpy()或.item()调度器才把依赖链排好、融合后发到设备上执行。这个延迟给了它空间先看清整条依赖链再决定哪些算子能合并。看内核生成DEBUG4 直接打印设备代码设DEBUG3能看到融合后的 kernel 列表DEBUG4直接打印生成代码。README 里的演示很直观把一个矩阵乘法拆成reshape * matmul * sum三步写法tinygrad 会把它融合成单个 kernel——因为懒加载让它看得到完整的算子链而不是算一个发一个。挂上 TinyJit跳过 Python 的捕获-重放加速TinyJit的思路是笨重放前两次调用正常执行并捕获 kernel第三次起只按捕获好的序列重放省掉 Python 层的调度和 Python 解释开销。这也是为什么官方教程里它能把 75ms 的步耗时干到 1ms 量级。注意它连优化器更新一起 JIT 了相当于把整个训练步都固化成设备上的指令流。动手走一遍三趟跑通最小闭环① 装好环境。推荐从源码装git clone https://gitcode.com/GitHub_Trending/tiny/tinygrad进目录后执行python3 -m pip install -e .。装完用from tinygrad import Device; print(Device.DEFAULT)确认默认后端无卡环境会显示CPU够调试用。② 写一个最小例子感受懒加载。from tinygrad import Tensor a Tensor.rand(1024, 1024) b a a print(a.shape) # 到这里还没执行任何计算 print(b.numpy()) # 现在才真正上设备跑③ 跑完整例子。直接执行 examples/beautiful_mnist.py一个带卷积、BatchNorm 和 TinyJit 的 MNIST 分类器T4 上约 5 秒到 98% 准确率CPU 上会慢很多但流程一致。想读逐步讲解版看 docs/mnist.md。容易踩的坑 高频问题现象代码全跑完了.item()之前 GPU 一点动静没有。 原因一切都是懒加载没触发点就没有真实计算。 解法链尾加.realize()或者取.item()/.numpy()自然触发。现象backward()调用完打印梯度发现是空的或没变。 原因backward()只构建反向图不立即算同样受懒加载支配。 解法对 loss 取.item()或调.realize()后再看.grad。现象输入尺寸一变JIT 结果就怪或者非 Tensor 的 Python 变量冻住了。 原因重放按捕获时的形状执行且从第二次运行起影响 kernel 的 Python 值会被冻结这是设计行为而非 bug。 解法变尺寸的调用拆成单独的 JIT 函数或者干脆不 JIT 那条路径只让 Tensor 参与被捕获的逻辑。现象以为在 GPU 上跑实际在 CPU 上慢跑。 原因后端由Device.DEFAULT决定装了驱动不等于自动选 GPU。 解法打印Device.DEFAULT确认必要时用环境变量显式指定设备。延伸 下一步想用真实训练速度对标 PyTorch试试 BEAM 搜索with Context(BEAM2)会离线枚举多种内核实现、挑最快的并缓存结果适合跑通基础流程之后做性能调优。想搞懂框架内部从 test/backend/test_ops.py 入手最划算它把每个 API 的语义都用测试写清楚了。想复现大模型extra/models/ 里躺着手写的 LLaMA、EfficientNet、ViT 等参考实现examples/ 则有成体系的训练与推理样例。现在就去把 beautiful_mnist 跑起来再打开 DEBUG4 看一眼它替你生成的代码——读完那几行你对框架内部的恐惧基本就消了一半。【免费下载链接】tinygradYou like pytorch? You like micrograd? You love tinygrad! ❤️项目地址: https://gitcode.com/GitHub_Trending/tiny/tinygrad创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考