Artificial Intelligence

自动关联目录:Artificial Intelligence

人工智能的本质问题:如何让机器在"没有被明确编程"的情况下完成任务。

历史上两条路线反复交替:

路线思路代表
符号主义(Symbolic)用符号和规则表示知识,靠推理专家系统、知识图谱、规划
连接主义(Connectionist)用神经网络从数据中学习深度学习、大模型

当前(2020s)连接主义占据绝对主导,但符号方法在特定领域(约束求解、规划、验证)仍有价值。

机器学习的基本范式

范式数据目标
监督学习(x,y)(x, y) 带标签学x→yx \to y 的映射
无监督学习只有xx发现数据结构(聚类、降维、密度估计)
自监督学习只有xx,自己造监督信号学表示(对比学习、掩码预测)
强化学习交互产生的(s,a,r,s′)(s,a,r,s')学最大化累积奖励的策略

自监督是当前大模型的关键:不需要人工标注,用"预测下一个 token"这样的自动生成任务训练,所以能用互联网上所有的文本。

深度学习的核心机制

为什么"深"

层次化表示:浅层学简单特征(边缘),中层学部件(眼睛、轮子),深层学语义(脸、车)。

像素 → 边缘 → 纹理 → 部件 → 对象 → 场景
      ↑ 浅层                    ↑ 深层

理论依据:某些函数用深度网络表示需要O(n)O(n) 个神经元,用单隐藏层需要指数多个(深度的指数优势)。

为什么能训练

  • 反向传播:链式法则高效计算梯度(比数值微分快O(n)O(n) 倍)
  • 自动微分:现代框架(PyTorch)自动构建计算图
  • GPU:矩阵乘法的高度并行

深度学习的成功 = 大数据 + 大模型 + 大算力,三者缺一不可。算法创新重要,但过去十年的大部分进展来自规模化(scaling)。

关键组件

组件作用
卷积(CNN)局部性 + 权值共享,适合图像
循环(RNN/LSTM)序列建模(已被 Transformer 取代)
注意力 / Transformer全局依赖,可并行,当前主导架构
残差连接让深层网络可训练
归一化(Batch/Layer Norm)稳定训练
Dropout正则化

本目录

分支章节
生成式 AIGenerative AI——生成模型、扩散、LLM
强化学习Reinforcement Learning——MDP、策略梯度、RLHF

(深度学习的工程实践主要在 LLM 分类下的 TiniestGPT 系列笔记里)

关键概念速查

概念含义
过拟合训练集好、测试集差。解法:正则化、数据增强、早停
泛化在未见数据上的表现,这才是目标
偏差-方差权衡模型太简单(高偏差)vs 太复杂(高方差)
梯度消失/爆炸深层网络的梯度问题。解法:残差、归一化、合适的初始化
涌现能力模型规模达到某个阈值后突然出现的能力
Scaling Law性能与(数据量、模型大小、算力)呈幂律关系

参考

  • CS231n(Stanford,计算机视觉)
  • CS224n(Stanford,NLP)
  • 《Deep Learning》(Goodfellow 等)
  • CS 自学指南 —— 中文资源整合