ML Training Recipes 实战基于 Scaling Laws 的架构选择、算力预算与带宽受限训练指南【免费下载链接】AI-Research-SKILLsComprehensive open-source library of AI research and engineering skills for any AI model. Package the skills and your claude code/codex/gemini agent will be an AI research agent with full horsepower. Maintained by Orchestra Research.项目地址: https://gitcode.com/gh_mirrors/ai/AI-Research-SKILLs本篇技术指南以 AI-Research-SKILLs 仓库中 ml-training-recipes 技能包的 scaling-and-selection.md 参考文档为核心骨架系统讲解如何在训练神经网络前依据数据规模、算力预算与任务类型做出正确的架构与规模决策。读完本文你将掌握 Chinchilla 最优计算配比、按数据类型与计算预算的架构决策树、FLOPs/显存预算估算、优化器选型以及如何在 DGX Spark 这类带宽受限硬件上最大化训练吞吐。一、Scaling Laws用规模定律指导训练预算1.1 Chinchilla 最优计算配比Hoffmann et al., 2022对 LLM 训练而言最重要的规模定律是 Chinchilla 结论在计算最优的前提下参数量 N 与训练 token 数 D 应随计算量等比例增长配比约为每个参数 20 个 token。这一结论直接推翻了早期 Kaplan 等人模型越大越好、数据相对少放的建议——训练预算固定时把预算花在数据上而非一味放大模型往往更划算。其背后的 FLOPs 估算公式为FLOPs ≈ 6 × N × D 其中 N 参数量 D 训练 token 数 6 每个参数每个 token 的前向2 FLOPs 反向4 FLOPs该公式在仓库中同样被用于 MFUModel FLOPs Utilization监控与 FLOPs 预估。architecture.md 给出了对应的估算实现核心规则是6 × N前向 matmul 2、反向 matmul 4并剔除 embedding 这类稀疏查找def estimate_flops_per_token(model): Forward backward FLOPs per token (approx 6 * params attention). nparams_dense sum(p.numel() for p in model.parameters()) nparams_dense - model.wte.weight.numel() # token embedding 不计入 nparams_dense - model.lm_head.weight.numel() # 若已 tied 则已计数 # 注意力部分: 2 * n_heads * head_dim * seq_len per layer (QK attnV) attn_flops 0 for window in model.window_sizes: effective_seq min(window[0], model.config.sequence_len) attn_flops 12 * model.config.n_head * head_dim * effective_seq return 6 * nparams_dense attn_flopsml-training-recipes 主 SKILL 将 Chinchilla 规则直接落实为可查表模型规模计算最优 token 数推理最优 token 数100×125M2.5B tokens12.5B tokens1B20B tokens100B tokens7B140B tokens700B tokens1.2 Chinchilla 最优 vs 推理最优策略Tokens/Param适用场景示例Chinchilla 最优~20×研究、一次性计算开销7B 模型 → 140B tokens推理最优100-200×生产部署7B 模型 → 700B-1.4T tokensLLaMA 系列的哲学正是后者部署一个更小但喂了更多数据的模型。因为推理是持续成本每次请求都在花钱而训练只是一次性成本。生产环境反复调用的小模型其总拥有成本往往远低于训练一次更优的大模型。1.3 Chinchilla 之后的新认知Muennighoff et al. (2023)数据重复训练最多 4 个 epoch其效果约为同量唯一数据的 85%超过 4 epoch 后收益急剧衰减。有效数据量近似满足D_effective ≈ D × (1 - e^{-epochs})。过训练over-training小模型现已成为生产环境标准做法LLaMA、Mistral、Phi 系列皆如此。数据质量 数据规模Llama 3 的发现激进去重 质量过滤比单纯堆数据量更能提升效果。二、架构决策树按数据与算力选型2.1 按数据类型的主决策树你的数据是什么类型 │ ├─ 图像 / 视频 │ ├─ 数据 10K → 预训练 CNNResNet/EfficientNet 微调分类头 │ ├─ 数据 10K-1M → 预训练 ViT 微调 或 CNN 微调两者皆可行 │ ├─ 数据 1M → ViT 或混合架构ConvNeXt、CoAtNet从零训练 │ └─ 视频 → Video Swin Transformer 或 TimeSformer预训练 │ ├─ 文本 / NLP │ ├─ 分类/NER → 微调编码器BERT/RoBERTa │ ├─ 生成 → 微调解码器GPT/LLaMA │ ├─ Seq2seq翻译 → 微调 T5/BART │ ├─ 数据 1K 样本 → 大 LLM 少样本推理不训练 │ ├─ 序列长度 8K → 考虑 Mamba-hybrid 或长上下文 Transformer │ └─ 推理预算紧张 → 蒸馏模型、RWKV 或 Mamba │ ├─ 表格数据 │ ├─ 行数 50K → XGBoost / LightGBM不要用深度学习 │ ├─ 行数 50K-500K → GBM 依然强劲可尝试 FT-Transformer 对比 │ └─ 行数 500K → 神经网络可行两者都 benchmark │ ├─ 时间序列 │ ├─ 单变量、短预测期 → ARIMA / Prophet / 简单 LSTM │ ├─ 多变量、中等数据 → LSTM/GRU 或 N-BEATS │ ├─ 长序列 / 大量序列 → PatchTST / Informer / Mamba │ └─ 已有基础模型 → TimesFM 或 Chronos微调 │ ├─ 音频 / 语音 │ ├─ 语音识别 → Whisper预训练 微调 │ ├─ 音频分类 → AST 或基于频谱图的 CNN │ └─ 长音频 → Mamba / SSM 变体 │ ├─ 图数据 │ └─ GNNGCN、GAT、GraphSAGE大图用 Transformer-on-graphs │ └─ 多模态 └─ CLIP 风格视觉文本或统一 TransformerGemini 风格主 SKILL 提供了更贴近仓库实际使用场景的版本覆盖了生物医学等更多领域数据类型 10K 样本10K-100K 100K图像预训练 CNN 微调微调 ViT 或 CNNViT 从零训练文本生成少样本提示微调 GPT/LLaMALoRA从零预训练表格XGBoost/LightGBM仍然是 XGBoost神经网络可行音频预训练 Whisper微调 AST从零训练分子预训练 GNN微调分子 LM从零训练 GNN蛋白质ESM-2 嵌入 头微调 ESM-2训练蛋白质 LM医学图像预训练 CNNnnU-Net自动配置Swin-UNETR / MedSAM2.2 按计算预算的决策树你有多少计算资源 │ ├─ 单 GPU 1 天 │ → 模型 500M 参数 │ → 微调预训练模型不要从零训练 │ → 大模型微调用 LoRA/QLoRA │ ├─ 单 GPU1-7 天 │ → 最多从零训练 1B 参数 │ → 或用 QLoRA 微调最多 7B │ ├─ 多 GPU4-81-7 天 │ → 从零训练最多 3B │ → 或微调最多 13B │ → 使用 DDP 做数据并行 │ ├─ 集群32 GPU数周 │ → 从零训练 7B │ → 应用 Chinchilla 缩放至少 20 tokens/参数 │ → 使用 FSDP 或 Pipeline Parallel │ └─ 大规模集群数百 GPU数月 → 70B 模型 → 完整 5 维并行TP PP DP EP CP → Chinchilla 配比至关重要与此对应domain-specific.md 给出了分布式训练的实现模式DDP 适用于中等规模DistributedSamplerset_epoch保证每个 epoch 正确打乱FSDP 适用于大模型size_based_auto_wrap_policy自动包裹大层配合 bf16 混合精度。规模放大时的缩放规则包括线性缩放batch 放大 k 倍则 LR 放大 k 倍有上限、平方根缩放lr_new lr_base * sqrt(batch_new / batch_base)更保守、往往更稳、以及用梯度累积模拟大 batch 而无须增加 GPU。三、数据规模阈值各类任务的交叉点3.1 视觉CNN 与 ViT 的交叉点数据集大小胜出者备注 5K 张图预训练 CNN无预训练时 ViT 会过拟合5K-50K微调 ViT ≈ CNN两者皆可ViT 需要预训练ImageNet-21k50K-500KViT 预训练略占优混合架构CoAtNet表现出色 1MViT 从零训练可行ViT-L/H 超过 CNN 10MViT 明显胜出原 ViT 论文在 JFT-300M 上验证关键洞察迁移学习抹平了差距。在大数据上预训练、再在小数据上微调的 ViT可以击败在小数据上从零训练的 CNN。这也是 3.1 节决策树中数据 10K 时用预训练 CNN的根本原因——问题不在于架构而在于是否携带先验知识。3.2 NLP模型规模阈值任务数据量方案 100 条样本少样本提示不训练100-1K微调小模型BERT-base或在大模型上做 LoRA1K-10K全量微调中等模型10K-100K训练领域专用模型或继续预训练 100K按 Chinchilla 配比同步放大模型与数据3.3 表格数据树模型的边界Grinsztajn et al. (2022) 的论文标题即结论——Why do tree-based models still outperform deep learning on typical tabular data?数据行数建议 10KXGBoost/LightGBM无需讨论10K-50K树模型几乎总是赢神经网络勉强有竞争力50K-500K神经网络FT-Transformer、TabNet开始可行 500K两者皆具竞争力高基数特征下神经网络可能胜出这是机器学习领域最稳健的发现之一在约 50K 行以下的典型表格数据上神经网络极少能击败梯度提升树。选择正确但无趣的 GBM而不是时髦但低效的深度网络本身就是一种工程优化。3.4 时间序列阈值数据规模架构 1K 条序列经典方法ARIMA、Prophet或简单 LSTM1K-100KLSTM/GRU 有竞争力Transformer 变得可行 100K长预测期的 Transformer 变体或 Mamba四、计算预算规划FLOPs 与显存估算4.1 按模型规模的 FLOPs 估算模型规模token 数Chinchilla训练 FLOPsA100 GPU 小时估算125M2.5B1.9e18~6h350M7B1.5e19~48h1B20B1.2e20~385h7B140B5.9e21~19,000h13B260B2.0e22~65,000h70B1.4T5.9e23~1.9M h这张表可以直接回答我要训多大的模型先看总预算 GPU 小时数反查可承担的规模与 token 量再按第二节的决策树校验是否在你的硬件拓扑内可行。4.2 显存估算的经验法则bf16 训练下的模型显存占用经验公式总显存 ≈ 18-20 × N_params字节 分解 模型权重bf16 2 × N 字节 梯度bf16 2 × N 字节 优化器状态Adam 8 × N 字节fp32 一阶二阶矩 激活值 视情况约 4-8 × N 示例1B 参数 → 至少 18-20 GB 显存降低显存的技术手段按优先级梯度检查点Gradient checkpointing激活值内存 -50-70%代价是 30% 计算8-bit 优化器优化器状态内存 -30%FSDP将状态分片到多张 GPUQLoRA4-bit 基座 LoRA 适配器主 SKILL 进一步给出了 OOM 的完整解决顺序其中前几项即对应上表减小DEVICE_BATCH_SIZE增大grad_accum_steps设置PYTORCH_ALLOC_CONFexpandable_segments:Truemodel.zero_grad(set_to_noneTrue)比置零更省内存Meta device 初始化 →to_empty大模型零内存创建激活检查点torch.utils.checkpoint.checkpoint()8-bit 优化器bitsandbytes优化器状态约省 30%其中Meta device 初始化是处理超大模型的利器在主 SKILL 中有完整示例with torch.device(meta): model GPT(config) # 零内存创建 model.to_empty(devicecuda) model.init_weights()4.3 用 MFU 校准预算预算规划不止于能放下还要跑得快。主 SKILL 给出的 MFU 公式为achieved_flops model_flops_per_token * batch_tokens / step_time mfu achieved_flops / gpu_peak_flops # H100 SXM: 989.5 TFLOPS | A100: 312 | RTX 4090: 165单卡目标参考30% 合格、40% 良好、50% 优秀。低 MFU 的排查顺序来自主 SKILL 调试清单确认torch.compile生效 → 检查torch.set_float32_matmul_precision(high)→ 锁页内存 non_blocking传输 → 用torch.profiler分析 → 处理 GC 停顿 → 核对 Tensor Core 对齐维度为 8/64 的倍数。4.4 时间预算让实验可比较experiment-loop.md 提出了一个与算力预算直接相关的实践用固定时间预算而非固定步数/epoch 来定义一次实验。墙钟时间天然包含了吞吐差异因此用 5 分钟固定预算跑实验结果可直接横向比较约 12 个实验/小时一晚可跑上百个。这也是第二节1-7 天数周等预算表述在工程上的落地方式。五、优化器选择指南5.1 优化器对比总表优化器最适合显存备注AdamW一切场景的默认2× 参数β10.9, β20.95LLM8-bit Adambitsandbytes显存受限~1.3× 参数质量几乎无损Adafactor超大模型~1× 参数分解二阶矩SGDmomentum视觉 CNN1× 参数需要更多 LR 调参MuonTransformer 矩阵~2× 参数正交更新前沿方向LAMB/LARS超大 batch32K2× 参数逐层缩放 LR 保证稳定LionGoogle值得一试1× 参数基于符号比 Adam 省显存Schedule-Free Adam追求简单2× 参数无需 LR 调度SOAPLLM 训练~2× 参数Shampoo 类但更实用5.2 何时用哪个默认选择AdamW。永远有效、理解透彻、文献海量。显存压力8-bit Adam 或 Adafactor。超大 batchLAMB/LARS否则线性缩放规则失效。前沿 LLMMuon 处理矩阵参数 AdamW 处理 embeddingautoresearch 模式。追求简单Schedule-Free Adam——彻底去掉 LR 调度。5.3 仓库中的优化器源码级细节optimizers.md 对 AdamW 给出了与默认 PyTorch 参数的关键差异β2 0.95非默认 0.999默认值约有 ~1000 步的记忆窗口对 LLM 训练快速变化的损失面太慢β1 可选 0.8-0.9 以获得更快的动量。eps 1e-10非默认 1e-8bf16 训练中梯度可能非常小1e-8 会导致二阶矩极小时更新停滞。autoresearch 使用 1e-10。optimizer torch.optim.AdamW( params, lr3e-4, betas(0.9, 0.95), # β10.9, β20.95不是默认 0.999 eps1e-8, # LLM 训练常改 1e-10 weight_decay0.1, )Muon是专为 2D 矩阵权重参数设计的优化器Nesterov 动量 Polar Express 正交化用快速 Newton-Schulz 迭代近似矩阵极分解找到距离梯度最近的正交矩阵。正交化的动机是普通梯度下降长期更新后可能让权重矩阵秩亏正交化更新方向能鼓励特征多样化、防止权值空间模式坍缩。其关键超参数为参数典型值备注lr0.02-0.04非方阵按max(1, rows/cols)^0.5缩放momentum0.95前 300 步从 0.85 预热ns_steps5Newton-Schulz 迭代次数越多越准、越慢beta20.95NorMuon 二阶矩跟踪weight_decay0.1-0.2Cautious仅在梯度与参数同号处生效混合 MuonAdamW是现代 LLM 训练的核心模式——不同参数类型用不同优化器参数类型优化器原因2D 权重矩阵attention、MLPMuon受益于正交化Token embeddingsAdamW稀疏更新不是矩阵变换Unembeddinglm_headAdamW需要更低 LR 保持稳定逐层标量AdamW太小不适合矩阵方法Value embeddingsAdamW同 token embeddings完整的分组配置示例来自 optimizers.mddef setup_optimizer(model, d_model768): lr_scale (d_model / 768) ** -0.5 param_groups [ # Unembedding: 低 LR、无 weight decay { kind: adamw, params: list(model.lm_head.parameters()), lr: 0.004 * lr_scale, betas: (0.8, 0.95), eps: 1e-10, weight_decay: 0.0, }, # Token embeddings: 更高 LR稀疏更新需要更大步长 { kind: adamw, params: list(model.wte.parameters()), lr: 0.6 * lr_scale, betas: (0.8, 0.95), eps: 1e-10, weight_decay: 0.0, }, # Transformer 矩阵: Muon { kind: muon, params: list(model.transformer.h.parameters()), lr: 0.04, momentum: 0.95, ns_steps: 5, beta2: 0.95, weight_decay: 0.2, }, # 逐层标量: 单独 AdamW { kind: adamw, params: [model.resid_lambdas], lr: 0.005 * lr_scale, betas: (0.8, 0.95), eps: 1e-10, weight_decay: 0.0, }, ] optimizer MuonAdamW(param_groups) return optimizer其中LR 随维度缩放规则为lr_effective lr_base * (d_model / d_reference)^(-0.5)模型越宽单参数学习率应越低因为大矩阵会放大梯度范数按 1/√d 缩放可让有效步长跨模型尺寸保持恒定。Weight decay 策略上LLM 训练中应只对 Transformer 权重矩阵做 decayembeddings、bias、LayerNorm 参数与逐层标量不做更激进的方案是线性衰减 WD 到 0训练后期让模型完全承诺于已学特征Muon 则使用 cautious decay仅在与梯度同号处衰减避免 WD 与梯度打架。六、大规模训练的不稳定性与对策6.1 常见失败模式OPT-175B、BLOOM、PaLM、Llama 实测失败症状修复Loss spikes损失突然跳升可能恢复也可能不恢复降 LR、跳过该 batch、回滚到更早 checkpointPaLM 策略Slow divergence损失逐渐上升数据质量问题或 LR 过高Embedding collapse所有 embedding 收敛到相近值加 embedding LayerNorm、降低 embedding LRAttention entropy collapse注意力均匀化或 one-hotz-loss 正则化、QK-normfp16 下 NaN训练崩溃换 bf16或在 matmul 前调整归一化顺序6.2 PaLM loss spike 策略检测到 loss spike 时回滚到 spike 之前的最后一个 checkpoint跳过导致 spike 的数据 batch可选临时降低 LR再逐步回升恢复训练这套流程如今已成为多数大型训练实验室的标准操作。experiment-loop.md 将其纳入了自主实验循环的决策纪律指标变差即 discardgit reset --hard HEAD~1、崩溃分三类处理trivial 修复重试、fundamental 记录后跳过、超时按 timeout 记录保证每步只做一个改动、diff 可审、回滚干净。6.3 稳定性技术现已成标准Pre-norm在 attention/FFN 之前归一化而非之后QK-norm点积前对 Q 和 K 归一化线性层不加 bias除最终输出层外梯度裁剪max_norm1.0Embedding LayerNorm大规模训练尤其重要bf16 优先于 fp16无需 loss scalingarchitecture.md 给出了这些技术的实现级细节pre-norm 的标准写法是x x self.attn(norm(x))与x x self.mlp(norm(x))最终输出到 lm_head 前再做一次x norm(x)QK-norm 在 RoPE 应用之后、进入注意力之前执行q, k norm(q), norm(k)Logit soft capping用softcap * torch.tanh(logits / softcap)如 softcap15平滑钳制极端 logit零初始化输出投影让残差流从干净状态起步此外还有可学习的逐层残差缩放resid_lambdas初始为 1.0、x0_lambdas初始为 0.1帮助梯度直达 embedding 层。主 SKILL 的2025 默认配方将这些收敛为可直接照抄的参数组合AdamWβ10.9, β20.95, eps1e-10、weight decay 0.1、Cosine 或 WSD 调度、峰值 LR 3e-4大模型按比例下调、bf16、max_norm1.0、RMSNormpre-norm、SwiGLU、RoPE、Flash Attention可选 GQA。Loss exploding / NaN 的完整排查链主 SKILL先降 LR3-10×→ 加梯度裁剪 → 检查输入中的 inf/nan → 加 logit soft capping → 加 QK-norm → 核对权重初始化 → 检查梯度累积下的 loss 归约loss / grad_accum_steps。七、DGX Spark / 带宽受限 GPU 训练专题7.1 GB10 Grace Blackwell 规格与瓶颈规格数值对比 H100 SXMGPU 显存128 GB LPDDR5XCPUGPU 统一80 GB HBM3显存带宽~273 GB/s~3,350 GB/s少 12×CPU-GPU 互连NVLink C2C~900 GB/sN/A分立FP4 Tensor Core支持Blackwell不支持FP8 Tensor Core支持支持bf16 峰值 TFLOPS~TBDBlackwell 架构989.5功耗~300W 整机单 GPU 700W形态桌面工作站数据中心DGX Spark 最大的约束是显存带宽——比 H100 少 12×由此推断计算受限算子大 matmul表现正常每 FLOP 效率相近内存受限算子逐元素、归约、attention严重受限相同模型的有效 MFU 会低于 HBM GPU经验法则当算子的算术强度FLOPs/byte 50 时它在 DGX Spark 上就是带宽受限的。增大 batch、加宽模型能提高算术强度。7.2 带宽受限训练的七大优化策略策略 1最大化计算/内存比# 用更大 batch 提高 matmul 的算术强度 # 更大 batch → 每次权重加载对应更多 FLOPs → 更好利用带宽 # 用梯度累积模拟大 batch 而不 OOM grad_accum_steps 16 # 等效 16 倍 batch策略 2量化训练FP8 / FP4DGX Spark 的 Blackwell 核心原生支持 FP4 与 FP8——它们按比例减少内存流量# 使用 transformer engine 做 FP8 训练 import transformer_engine.pytorch as te # 用 FP8 版本替换 nn.Linear linear te.Linear(in_features, out_features, biasFalse) # FP8 autocast with te.fp8_autocast(enabledTrue): output model(input)FP8 相比 bf16 将带宽需求削减约 2×FP4可用时削减约 4×。既然带宽是瓶颈这直接转化为速度提升。策略 3算子融合# torch.compile 在带宽受限硬件上至关重要 # 它把逐元素算子norm、激活、残差加融合进单一 kernel model torch.compile(model, dynamicFalse, fullgraphTrue) # 手动融合示例融合 RMSNorm linear # 而非norm(x) → 写回内存 → linear(normed_x) # 融合norm linear 单 kernel 完成x 永不写回内存策略 4梯度检查点在这里反而更划算在 HBM GPU 上梯度检查点是用计算换内存在 DGX Spark 上权衡不同——重算激活值可能比从内存加载更快from torch.utils.checkpoint import checkpoint class Block(nn.Module): def forward(self, x): # 重算 attention 激活值而非存储 x x checkpoint(self.attn, x, use_reentrantFalse) x x checkpoint(self.mlp, x, use_reentrantFalse) return x策略 5统一内存优势CPU 与 GPU 间的 NVLink C2C~900 GB/s意味着无需显式 CPU↔GPU 拷贝——统一地址空间可以训练大于 GPU VRAM的模型而无 offloading 开销用torch.cuda.mem_get_info()检查可用统一内存128GB 池是共享的——要监控的是整个系统内存而不只是GPU 显存策略 6推理侧的 KV-cache 优化对 DGX Spark 上的 LLM 推理KV-cache 是带宽瓶颈GQA/MQA更少的 KV 头 更小的 cache 更少带宽KV-cache 量化INT8 或 FP8 KV cache 将带宽降低 2-4×滑窗注意力无论序列多长cache 大小有界PagedAttentionvLLM变长序列的高效内存管理GQA 的模型侧实现见 architecture.mdn_kv_head n_head为 MHA满质量、最费内存n_kv_head n_head / 4为常见 GQA 取舍n_kv_head 1为 MQA最省内存、轻微质量损失且要求n_head % n_kv_head 0。策略 7DGX Spark 模型选型模型规模可行性备注 1B优秀从零训练快速迭代1-7B良好可从零训练微调无压力7-13B可行QLoRA 微调从零训练较慢13-30B仅微调QLoRA统一内存有助于放下模型30-70B仅推理需量化GPTQ/AWQ 4-bit 70B不推荐连推理都可能太慢7.3 DGX Spark 训练检查清单启用 FP8 训练transformer_engine——最大单项收益使用torch.compile且fullgraphTrue做算子融合在显存允许范围内尽量增大 batch提高算术强度启用梯度检查点在带宽受限硬件上是免费性能注意力重的模型使用 GQA/MQA监控torch.cuda.max_memory_allocated()——统一内存意味着不同的上限用torch.profiler找出带宽受限的 kernel若 Blackwell kernel 支持推理考虑 FP4八、关键参考文献以下为规模定律与架构选择领域的核心文献编号对应 arxiv可按需检索原文Scaling LawsKaplan et al. (2020)Scaling Laws for Neural Language Modelsarxiv:2001.08361Hoffmann et al. (2022)Training Compute-Optimal Large Language ModelsChinchillaarxiv:2203.15556Muennighoff et al. (2023)Scaling Data-Constrained Language Modelsarxiv:2305.16264架构选择Dosovitskiy et al. (2020)An Image is Worth 16x16 WordsViTarxiv:2010.11929Liu et al. (2022)A ConvNet for the 2020sConvNeXtarxiv:2201.03545Grinsztajn et al. (2022)Why do tree-based models still outperform deep learning on tabular data?arxiv:2207.08815替代架构Gu Dao (2023)Mamba: Linear-Time Sequence Modelingarxiv:2312.00752Peng et al. (2023)RWKV: Reinventing RNNs for the Transformer Eraarxiv:2305.13048Sun et al. (2023)Retentive NetworkRetNetarxiv:2307.08621训练配方与方法论Karpathy (2019)A Recipe for Training Neural Networks博客Wightman et al. (2021)ResNet Strikes Backarxiv:2110.00476Yang et al. (2022)Tensor Programs VµParxiv:2203.03466Google ResearchDeep Learning Tuning PlaybookStas BekmanML EngineeringGeiping Goldstein (2022)Cramming: Training a Language Model on a Single GPU in One Dayarxiv:2212.14034大规模训练Zhang et al. (2022)OPT: Open Pre-trained Transformer Language Modelsarxiv:2205.01068Chowdhery et al. (2022)PaLM: Scaling Language Modeling with Pathwaysarxiv:2204.02311Touvron et al. (2023)LLaMAarxiv:2302.13971九、总结从决策到执行的完整闭环将本指南串联成一条可执行路径先用 Chinchilla 定律与 FLOPs/显存估算表确定规模 → 用数据/算力决策树选定架构 → 按优化器选型表与源码级参数组配置训练 → 用稳定性技术与 PaLM 回滚策略兜底 → 在带宽受限硬件上套用七大优化策略。仓库中配套的 ml-training-recipes 主 SKILL 提供训练循环、LR 调度、混合精度、调试清单等落地代码optimizers.md 提供 Muon/AdamW 混合配置与编译优化器实现architecture.md 提供 GQA、滑窗注意力、残差缩放等稳定性组件domain-specific.md 覆盖视觉/扩散/分布式场景experiment-loop.md 则给出把上述决策快速验证为实验结果的自主循环——四者合起来就是从选什么模型到如何把实验跑完的完整工程闭环。【免费下载链接】AI-Research-SKILLsComprehensive open-source library of AI research and engineering skills for any AI model. Package the skills and your claude code/codex/gemini agent will be an AI research agent with full horsepower. Maintained by Orchestra Research.项目地址: https://gitcode.com/gh_mirrors/ai/AI-Research-SKILLs创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考