自动关联目录：LLM

LLM 分类的外部资料索引。这个领域的特点是论文与工程实践脱节得厉害：论文看架构与动机，工程细节只能去仓库和博客里找。所以下面按"论文 / 官方仓库 / 工程博客"三类分开。

用法：先读 TiniestGPT 对应章节，再回来找一手资料。直接看论文容易得到"知道结论但复现不出来"的状态。

怎么跟踪这个领域

这个领域三个月不跟踪就会落后，所以不要试图"学完"，要建立的是"知道去哪查"的能力。

Misc

• arXiv cs.CL——计算语言学，大模型主战场
• arXiv cs.LG——机器学习
• Papers with Code——论文与实现的对应
• Hugging Face——模型与数据集的实际来源
• HF Transformers 文档——绝大多数架构问题在这里能看到实现
• TiniestGPT 上游仓库——本分类内容的来源

Data（数据）

• The Pile——开源预训练集的经典构成
• RefinedWeb——说明只用网页数据也能训好
• FineWeb——当前公开的优质网页数据集
• DataComp——数据配比的对照实验
• 《Scaling Data-Constrained Language Models》——数据不够时怎么重复用

分支笔记：数据

Architecture（架构）

• Attention Is All You Need——Transformer 原文
• FlashAttention / FlashAttention-2——IO 感知注意力
• RoPE（RoFormer）——当前主流位置编码
• RMSNorm——现代 LLM 的默认归一化
• SwiGLU——当前主流 FFN 激活
• GQA（Grouped-Query Attention）——推理显存的关键一招
• Mixture of Experts 综述——MoE 的系统梳理
• Multi-Head Latent Attention（DeepSeek-V2）——KV 压缩的代表

分支笔记：模型架构

Training / Post-training（训练与后训练）

• Scaling Laws——幂律关系的起点
• Chinchilla——数据/参数配比修正
• InstructGPT——RLHF 的奠基
• DPO——无需奖励模型的偏好优化
• LoRA——低秩微调
• ZeRO（DeepSpeed）——显存切分
• Megatron-LM——张量并行的经典
• GRPO（DeepSeekMath）——推理能力的 RL 方法

分支笔记：预训练工程 · 后训练 · 分布式训练

Inference & Serving（推理与服务化）

• vLLM 文档与仓库——PagedAttention 的落地参考
• PagedAttention 论文
• Continuous Batching 说明（HF）
• FlashInfer——推理 kernel 库
• TensorRT-LLM——NVIDIA 的推理栈
• SGLang——结构化生成与高效调度
• Speculative Decoding——投机解码

分支笔记：推理优化 · vLLM 对照 · 服务化

CUDA & 算子

• CUDA C++ Programming Guide
• CUDA 最佳实践
• CUTLASS——矩阵乘的模板库，写算子先读它
• NCCL——多卡通信
• Nsight Compute——kernel 剖析

分支笔记：CUDA 算子 · Programing / Cuda

Agentic

• ReAct——推理与行动交替
• Toolformer
• MCP（Model Context Protocol）——工具接入的开放协议
• LangGraph——有状态 Agent 编排
• Anthropic：Building Effective Agents——少抽象、多直接的实践建议

分支笔记：Agentic 框架

前沿与评测

• LMArena 排行榜——人类偏好盲测
• HELM——多维度评测
• LiveCodeBench——代码能力，避免污染
• 前沿技术雷达——本库自己的整理

分支笔记：前沿技术雷达 · Target 与 Gap

维护约定

这个领域资料更新极快，链接会失效。每次回来发现失效就顺手替换，不要累积坏链。