从零学习大模型（LLM）的分章节课程仓库，覆盖模型训练、对齐、安全、能力涌现、部署与智能体。
每章包含 PPT/讲义（slides/）与可运行 Notebook 教程（tutorial/）。
A chapter-based curriculum for learning LLMs from scratch, spanning training, alignment, safety, emergence, deployment, and agents. Each chapter provides slides and executable notebooks.
Quick Links: 课程结构 · 章节目录 · 运行环境 · 贡献
- 2026-02-05：完善 ch10/ch11/ch13/ch17/ch18 的 Notebook 与章节 README（信息抽取、文本生成、代码生成、RAG、GUI Agent）。
面向工程实践的 LLM 基础课程，强调“可运行的最小实验 + 清晰注释 + 逐步推进”，帮助学习者建立从原理到实践的完整路径。
- 具备 Python 基础，希望系统学习大模型技术栈的学习者
- 需要快速构建实验与原型的研究与工程人员
- 第一阶段 底层实现（ch01–ch06）：Python 环境、文本数据处理、注意力机制、GPT 实现、无标签预训练、分类任务微调。
- 第二阶段 对齐、微调与安全（ch07–ch11）：SFT、RLHF、安全对齐、知识编辑、信息抽取与文本生成。
- 第三阶段 能力涌现与多模态（ch12–ch14）：复杂推理、代码生成、多模态架构。
- 第四阶段 部署、智能体与未来（ch15–ch20）：量化/蒸馏/MoE、RAG、GUI Agent、安全与 AI4S。
| 章节 | 主题 | 阶段 | 链接 |
|---|---|---|---|
| ch01 | 设置 Python 环境 | 第一阶段 | README · slides · tutorial |
| ch02 | 文本数据处理 | 第一阶段 | README · slides · tutorial |
| ch03 | 注意力机制 | 第一阶段 | README · slides · tutorial |
| ch04 | 从头实现 GPT 模型 | 第一阶段 | README · slides · tutorial |
| ch05 | 在无标签数据上进行预训练 | 第一阶段 | README · slides · tutorial |
| ch06 | 针对分类任务的微调 | 第一阶段 | README · slides · tutorial |
| ch07 | 指令微调 | 第二阶段 | README · slides · tutorial |
| ch08 | RLHF 与安全对齐 | 第二阶段 | README · slides · tutorial |
| ch09 | 知识编辑与模型鲁棒性 | 第二阶段 | README · slides · tutorial |
| ch10 | 通用信息抽取（IE）与序列标注 | 第二阶段 | README · slides · tutorial |
| ch11 | 文本生成任务：机器翻译、问答等 | 第二阶段 | README · slides · tutorial |
| ch12 | 复杂推理：思维链（CoT）与数学能力 | 第三阶段 | README · slides · tutorial |
| ch13 | 代码生成 | 第三阶段 | README · slides · tutorial |
| ch14 | 多模态大模型（M-LLM）架构 | 第三阶段 | README · slides · tutorial |
| ch15 | 模型量化、蒸馏与高效部署 | 第四阶段 | README · slides · tutorial |
| ch16 | MoE（Mixture of Experts）与可扩展训练/推理系统 | 第四阶段 | README · slides · tutorial |
| ch17 | RAG（检索增强生成） | 第四阶段 | README · slides · tutorial |
| ch18 | GUI 智能体（Agent）与工具调用 | 第四阶段 | README · slides · tutorial |
| ch19 | 智能体安全与伦理展望 | 第四阶段 | README · slides · tutorial |
| ch20 | AI for Science | 第四阶段 | README · slides · tutorial |
- Python 3.10+（CPU 可运行，GPU 可加速）
- 常用依赖：
torch,transformers,datasets,seqeval,sacrebleu,scikit-learn,sentencepiece,accelerate - 若离线运行，请提前缓存模型权重
- 查看章节索引
chapters.yml与结构说明chapters/README.md。 - 进入章节目录，阅读该章
README.md。 - 按
tutorial/中 Notebook 顺序运行。
如需学术引用，可添加 CITATION.cff 并注明课程版本与作者信息。
贡献流程见 CONTRIBUTING.md。