Artificial Intelligence
自动关联目录:Artificial Intelligence
人工智能的本质问题:如何让机器在"没有被明确编程"的情况下完成任务。
历史上两条路线反复交替:
| 路线 | 思路 | 代表 |
|---|---|---|
| 符号主义(Symbolic) | 用符号和规则表示知识,靠推理 | 专家系统、知识图谱、规划 |
| 连接主义(Connectionist) | 用神经网络从数据中学习 | 深度学习、大模型 |
当前(2020s)连接主义占据绝对主导,但符号方法在特定领域(约束求解、规划、验证)仍有价值。
机器学习的基本范式
| 范式 | 数据 | 目标 |
|---|---|---|
| 监督学习 | 带标签 | 学 的映射 |
| 无监督学习 | 只有 | 发现数据结构(聚类、降维、密度估计) |
| 自监督学习 | 只有,自己造监督信号 | 学表示(对比学习、掩码预测) |
| 强化学习 | 交互产生的 | 学最大化累积奖励的策略 |
自监督是当前大模型的关键:不需要人工标注,用"预测下一个 token"这样的自动生成任务训练,所以能用互联网上所有的文本。
深度学习的核心机制
为什么"深"
层次化表示:浅层学简单特征(边缘),中层学部件(眼睛、轮子),深层学语义(脸、车)。
像素 → 边缘 → 纹理 → 部件 → 对象 → 场景
↑ 浅层 ↑ 深层理论依据:某些函数用深度网络表示需要 个神经元,用单隐藏层需要指数多个(深度的指数优势)。
为什么能训练
- 反向传播:链式法则高效计算梯度(比数值微分快 倍)
- 自动微分:现代框架(PyTorch)自动构建计算图
- GPU:矩阵乘法的高度并行
深度学习的成功 = 大数据 + 大模型 + 大算力,三者缺一不可。算法创新重要,但过去十年的大部分进展来自规模化(scaling)。
关键组件
| 组件 | 作用 |
|---|---|
| 卷积(CNN) | 局部性 + 权值共享,适合图像 |
| 循环(RNN/LSTM) | 序列建模(已被 Transformer 取代) |
| 注意力 / Transformer | 全局依赖,可并行,当前主导架构 |
| 残差连接 | 让深层网络可训练 |
| 归一化(Batch/Layer Norm) | 稳定训练 |
| Dropout | 正则化 |
本目录
| 分支 | 章节 |
|---|---|
| 生成式 AI | Generative AI——生成模型、扩散、LLM |
| 强化学习 | Reinforcement Learning——MDP、策略梯度、RLHF |
(深度学习的工程实践主要在 LLM 分类下的 TiniestGPT 系列笔记里)
关键概念速查
| 概念 | 含义 |
|---|---|
| 过拟合 | 训练集好、测试集差。解法:正则化、数据增强、早停 |
| 泛化 | 在未见数据上的表现,这才是目标 |
| 偏差-方差权衡 | 模型太简单(高偏差)vs 太复杂(高方差) |
| 梯度消失/爆炸 | 深层网络的梯度问题。解法:残差、归一化、合适的初始化 |
| 涌现能力 | 模型规模达到某个阈值后突然出现的能力 |
| Scaling Law | 性能与(数据量、模型大小、算力)呈幂律关系 |
参考
- CS231n(Stanford,计算机视觉)
- CS224n(Stanford,NLP)
- 《Deep Learning》(Goodfellow 等)
- CS 自学指南 —— 中文资源整合
许可协议:CC BY
作者:Davids
本文链接:https://hustjjd.github.io/b391781d.html
更新于:2026年11月16日