【AI加油站】第一百四十一部：机器学习工程师必读：从入门到精通的常识性问题全解析（附下载）

掌握这些核心知识点，让你在人工智能领域少走三年弯路

在人工智能飞速发展的今天，机器学习已成为连接理论与应用的桥梁。无论你是刚踏入这个领域的新手，还是已有一定经验的从业者，掌握机器学习中的常识性问题都是必不可少的。本文将系统梳理机器学习中的核心知识点，帮助你构建完整的知识体系。

一、机器学习预备知识

概率论与信息论的重要性

概率论和信息论是机器学习的数学基础。通过概率论，我们可以计算事件Y在事件X发生时的概率，这是构建机器学习模型的基础。例如，在建模Y = f(X)时，概率论提供了理论支撑。而信息论则帮助我们描述随机事件的信息量，计算不同概率分布之间的差异，这正是机器学习模型优化目标的数学表达。

张量：神经网络的基石

神经网络的输入、输出、权重都是张量，各种计算和变换本质上就是对张量的操作。张量可以理解为一个多维数组，是一种存储数字集合的数据结构，这些数字可以通过索引单独访问。没有对张量的深入理解，就很难真正掌握神经网络和人工智能的核心原理。

二、机器学习与深度学习的关系

机器学习是人工智能的核心分支，研究如何使计算机系统利用经验改善性能。而深度学习则是机器学习的一个发展方向，它通过简单的函数将数据表示从低级变换为高级，逐级构建越来越抽象的概念或模式。

深度学习的显著特点是端到端的训练。与传统方法将特征抽取和模型构建分开处理不同，深度学习将整个系统组建好后一起训练。这也是为什么在计算机视觉领域，深度学习能够替代Canny边缘探测和SIFT特征提取等人工设计的特征提取方法。

三、统计机器学习的三要素

统计机器学习方法由三个核心要素构成：模型、策略和算法。

模型：在监督学习中，模型是所要学习的条件概率分布或决策函数。假设空间中包含了所有可能的条件概率分布或决策函数。

策略：从假设空间中挑选最优模型的准则。模型的预测结果与实际情况的误差越小，模型就越好。

算法：学习模型的具体计算方法，本质上就是求解数学最优化问题的计算机算法。

在深度学习中，这三要素可以更具体地理解为：模型结构（如DNN、CNN、LSTM、Transformer）、损失函数（如均方差、交叉熵）和优化算法（如SGD、Adam）。

四、模型训练、预测与评估

以一个简单的房价预测为例，假设价格只取决于面积和房龄两个因素，我们可以建立线性回归模型：

ŷ = x₁w₁ + x₂w₂ + b

其中w₁、w₂是权重，b是偏差，都是模型参数。

训练过程包括：

1. 收集训练数据：包括房屋的真实售价、面积和房龄

2. 定义损失函数：衡量预测值与真实值的误差，常用平方损失函数

3. 优化求解：通过优化算法（如小批量随机梯度下降）最小化损失函数

在优化过程中，我们需要设定超参数，如学习率和批量大小。这些参数无法通过模型训练直接学出，需要人工调节。

五、归纳偏置与奥卡姆剃刀

归纳偏置是学习算法为了预测未遇到过的输入而做出的假设集合。最典型的例子是奥卡姆剃刀原则：如果关于同一问题有许多理论，每种都能作出同样准确的预言，应选择使用假定最少的那个。

在机器学习中，常见的归纳偏置包括：

• 最大条件独立性：用于朴素贝叶斯分类器

• 最大边界：用于支持向量机

• 最小描述长度：假设越简单的模型越可能为真

• 最近邻居：特征空间中相近的样本应属同一类别

深度学习中也有特定的归纳偏置：

• CNN：局部性（locality）和空间不变性（spatial invariance）

• RNN：序列性（sequentiality）和时间不变性（time invariance）

六、机器学习中的损失函数

损失函数用于评价模型的预测值与真实值的差异，是模型优化的目标。损失函数分为经验风险损失函数（预测结果与实际结果的差别）和结构风险损失函数（经验风险加上正则项）。

交叉熵损失函数

交叉熵是衡量两个概率分布差异的常用函数，特别适合分类问题：

H(y^(i), ŷ^(i)) = -∑ y_j^(i) log ŷ_j^(i)

交叉熵只关心对正确类别的预测概率，只要其值足够大，就能确保分类结果正确。这比平方损失函数更符合分类问题的实际需求。

值得注意的是，sigmoid和softmax后面接的交叉熵损失函数形式不同。softmax输出接的是单式交叉熵，而sigmoid输出接的是二项式交叉熵。

七、优化算法

反向传播算法

反向传播是训练人工神经网络的经典方法，它计算损失函数对网络中所有权重的梯度，然后将梯度反馈给优化方法，用于更新权值以最小化损失函数。

梯度下降及其变体

标准梯度下降：每次迭代使用所有样本来计算梯度，计算开销为O(n)，n为样本数。

随机梯度下降（SGD）：每次迭代随机采样一个样本计算梯度，将计算开销降至O(1)。

小批量随机梯度下降：结合了前两者的优点，每次使用一个小批量的样本计算梯度。

梯度消失与爆炸问题

在深度神经网络中，梯度不稳定是一个根本性问题。梯度消失指前面隐藏层的学习速率低于后面隐藏层，随着层数增加，分类准确率反而下降。梯度爆炸则相反。

解决方案包括：

• 使用ReLU、Leaky-ReLU等激活函数替代sigmoid

• 采用Batch Normalization和残差连接

• 梯度剪切和权重正则化

先进优化算法

动量法：通过对过去梯度做指数加权移动平均，使自变量更新在方向上更加一致，解决梯度下降中可能出现的锯齿现象。

AdaGrad：根据自变量各维度的梯度值大小调整学习率，但学习率在迭代过程中持续降低，后期可能难以找到有用解。

RMSProp：对AdaGrad的改进，使用指数加权移动平均替代累加平方和，避免学习率持续降低。

Adam：结合动量法和RMSProp的优点，对梯度本身和梯度平方都做指数加权移动平均，是目前最常用的优化算法之一。

八、激活函数

为什么需要非线性激活函数？

如果使用线性激活函数，无论神经网络有多少层，输出都是输入的线性组合，与没有隐藏层的感知机无异。引入非线性激活函数使深层网络能够逼近任意函数，真正发挥深度学习的优势。

常用激活函数

Sigmoid：输出范围[0,1]，与概率分布契合，但存在梯度消失问题，计算量大。

Tanh：输出范围[-1,1]，在RNN中常被采用。

ReLU：f(x)=max(0,x)，计算简单，缓解梯度消失，带来网络稀疏性。但可能出现“Dead ReLU”问题，即某些神经元对所有输入输出都是0。

Leaky ReLU、ELU、GELU：对ReLU的改进版本，解决了神经元“死亡”问题。

Softmax：将输出值转换为概率分布，常用于多分类问题的输出层。

九、正则化方法

L1和L2正则化

L1正则化使模型参数稀疏化，其原理可从解空间形状、函数叠加和贝叶斯先验多个角度理解。

Batch Normalization

BN通过对每个小批量数据进行归一化，有效加快模型收敛，缓解梯度弥散问题。算法步骤包括：计算均值和方差、归一化、再通过可学习的γ和β参数调整分布。

Group Normalization

当batch size较小时，BN效果下降。GN通过在通道维度上分组来解决这一问题，不受batch size大小的约束。

其他归一化方法

• LayerNorm：在通道方向上做归一化，主要用于RNN

• InstanceNorm：在单个通道内做归一化，用于风格迁移

• SwitchableNorm：将BN、LN、IN结合，让网络自主学习

十、评价指标

二分类指标

• 准确率（Accuracy）：预测正确的结果占总结果的比例

• 精确率（Precision）：被识别为正类别的样本中，确实是正类别的比例

• 召回率（Recall）：所有正类别样本中，被正确识别的比例

• F1值：精确率和召回率的调和均值

多分类指标

• 宏F1（F1_macro）：对每个类别计算F1后直接求平均

• 加权F1（F1_weighted）：对每个类别的F1按样本数加权平均

• 微F1（F1_micro）：先累加所有类别的混淆矩阵统计量，再计算F1

其他评价指标

• IoU（交并比）：目标检测中预测框和真实框的重叠程度

• TopK：模型给出的前K个预测中包含正确目标即认为正确

• BLEU、ROUGE等：机器翻译和文本生成任务中的评价指标

十一、集成学习

集成学习将多个弱监督模型组合，期望获得更全面、更强的监督模型。

Bagging（装袋）

通过Bootstrap抽样得到多个训练集，分别训练模型，最后通过投票（分类）或平均（回归）得到结果。随机森林是Bagging的典型代表。

Boosting

通过提高前一轮被分错样本的权重，使后续模型更关注难分样本。代表算法有AdaBoost、GBDT、XGBoost等。

Stacking

将多个模型的预测结果作为新特征，训练一个元模型来综合预测。

十二、降维方法

PCA（主成分分析）

PCA是无监督降维方法，通过找到数据中方差最大的方向，将n维特征映射到k维新正交特征。实现方式包括特征值分解协方差矩阵或SVD分解。

LDA（线性判别分析）

与PCA不同，LDA是有监督降维方法，目标是“投影后类内方差最小，类间方差最大”。LDA最多降到类别数k-1维，既可用于降维也可用于分类。

十三、语言模型与词向量

语言模型

语言模型定义了自然语言中标记序列的概率分布。统计语言模型如n-gram基于马尔可夫假设，认为下一个词的出现仅依赖于前面n-1个词。神经语言模型如RNN-based LM可以将任意长度的上下文存储在隐藏状态中。

困惑度（Perplexity）

衡量语言模型好坏的指标，给测试集句子赋予较高概率值的模型较好。句子概率越大，语言模型越好，困惑度越小。

词向量

通过语言模型学习得到的词的分布式特征表示。Word2Vec是代表性的词向量模型，包括CBOW和Skip-gram两种架构，以及层次Softmax和负采样两种优化技术。

十四、判别模型与生成模型

判别模型直接学习决策函数f(X)或条件概率分布P(Y|X)，关心给定输入X应预测什么样的输出Y。典型算法包括kNN、决策树、逻辑回归、SVM、神经网络等。

生成模型学习联合概率分布P(X,Y)，然后求出条件概率分布P(Y|X)。典型算法包括朴素贝叶斯、隐马尔可夫模型、混合高斯模型、LDA等。

生成模型的优势：可还原联合概率分布，收敛速度更快，能处理隐变量。判别模型的优势：直接面对预测，准确率更高，可简化学习问题。

十五、逻辑回归与线性回归

逻辑回归处理分类问题，线性回归处理回归问题。逻辑回归可以看作是对“y=1|x”这一事件的对数几率的线性回归。

逻辑回归使用sigmoid函数作为激活函数，将线性加权结果映射到(0,1)区间，用于二分类。训练时使用极大似然估计，求解时可用梯度下降等优化算法。

十六、常见问题处理

类别不平衡问题

当不同类别样本数目相差悬殊时，可采用：

• 数据级方法：欠采样（删除多数类样本）、过采样（生成少数类样本）

• 算法级方法：代价敏感学习，给少数类分配更高误分类代价

• 集成方法：结合重采样和集成学习

冷启动问题

推荐系统中，当没有足够用户数据时，可采用基于内容的方法：利用用户注册信息、搜索关键词等推测用户兴趣主题，再通过主题找到相似用户或物品。

文本相似度计算

方法包括基于词向量的距离计算（欧氏距离、余弦距离等）、基于具体字符的编辑距离、基于概率统计的Jaccard相似系数、基于主题模型的LSA/LDA、基于深度学习的doc2vec/word2vec等。

结语

机器学习是一个涉及多学科交叉的领域，需要系统掌握概率论、统计学、优化理论等基础知识。从传统的统计学习方法到深度学习，从理论概念到实际应用，构建完整的知识体系是成为合格机器学习工程师的必经之路。

随着技术的快速发展，保持持续学习的态度至关重要。本文涵盖的知识点是机器学习领域的核心基础，希望能为你的学习之路提供有价值的参考。记住，理论结合实践，不断思考和应用，才能真正掌握这些知识，在人工智能的浪潮中找到自己的方向。

【AI加油站】第八部：《模式识别（第四版）-模式识别与机器学习》（附下载）