Skip to content

决策树与随机森林 ​

方法速览 ​

  • 主要用途 用阈值和特征组合做表格分类或回归。
  • 必要输入 带类别或连续目标的训练样本,以及一致的特征编码。
  • 适用条件 响应有阈值效应或特征之间存在交互,训练样本能覆盖常见取值。
  • 典型不适用情况 需要在观测范围外延续趋势,或必须给出少量可逐条审核的规则却选用森林。
  • 最低限度的验证方式 用同一留出集比较基线、浅树与森林,并检查关键分组的误差。

哪类问题适合树模型 ​

输入是表格特征,且响应会随阈值或特征组合变化时,树可以自动寻找规则。以产线良品分类为例,一次分裂可以是“温度低于阈值”,下一次只在低温组内检查压力。分类树在叶子给出类别分布,回归树常用叶内目标均值。类别特征、缺失值的处理依实现而异,先确认训练和部署采用同一种编码及缺失值策略。

单棵树如何决定分裂 ​

分类常用基尼不纯度。若一个节点中第 k 类占比是 pk,有

G=1−∑kpk2,ΔG=G父−nLnGL−nRnGR.

每步在候选分裂中寻找较大的下降。回归则可选择使子节点平方误差总和降低最多的分裂。这是从当前节点出发的局部选法。很深的树可能形成只含少量样本的叶子,对数据变化敏感,因此常控制深度、叶子最小样本数或作剪枝。scikit-learn 用户指南的树分裂准则

随机森林如何分散波动 ​

典型随机森林为每棵树重抽一份有放回的训练样本,并在每个节点只考察随机选取的一部分特征。最后平均回归输出,分类则可以汇总各树的投票或类别概率,按实现定义。随机性使树学到部分不同的规则,平均后常比深单树稳定。Breiman 的随机森林论文

需要人人都能读懂的少量规则时,保留浅树。平滑线性关系和强外推需求下,线性模型通常值得优先比较,森林很难在超出训练范围后延伸连续趋势。

用十条假设记录手算基尼下降 ​

假设父节点 10 条记录,6 正 4 负,则 G=1−0.62−0.42=0.48。某温度阈值把它分成左侧 5 正 0 负、右侧 1 正 4 负。左侧纯度最高,GL=0,右侧 GR=0.32。加权子节点不纯度是 0.16,下降 0.32。若另一个阈值把两边各分成 3 正 2 负,不纯度下降为 0。单凭这批数据会优先第一个阈值,仍应在新的批次核对其稳定性。

特征重要度容易误读 ​

基于训练不纯度下降的重要度可能偏向有大量可选切分位置的特征。高度相关的变量互相替代时,单列重要度也可能分摊或被遮蔽。用独立验证数据做置换重要度可以检查打乱某列会损失多少预测表现,仍需结合相关性和数据生成过程解读。重要度描述模型怎样使用列,还需单独证据才能判断干预后会发生什么。

初次验证如何设置 ​

用同一数据切分比较基线、浅树和森林。在验证集调整树深、最小叶节点数、每次候选特征数和树数。报告不同分组或批次的误差,必要时重复随机种子。独立同分布样本下可用袋外表现作初筛。时间序列或重复主体需要按顺序或主体划分,避免用袋外抽样掩盖相关性。最后核对同一输入能否通过完整预处理流程得到可复现预测。

双语言实验 ​

把产线简化为三个传感器。规则规定,当第 1 路读数至少为 2.5 且第 2 路低于 3.5,或者第 2 路读数至少为 4.2,就记为待复查。第 3 路按固定数列生成,标签公式用不到它。程序以整数网格生成 36 条训练记录,再将其中两条训练标签翻转,模拟记录差错。留出记录另在非整数网格取 25 条,直接按规则赋予标签。基线、单树和森林都在同一份留出数据上评价。

怎样比较单棵树和多棵树 ​

单树先对每个特征排序,把相邻不同取值的中点作为候选阈值。如果切分能让加权基尼不纯度下降,并且两边至少各有两条记录,就可能成为新节点。选下降最多的阈值后,对左右子集分别重复,最多沿任何分支走三次。遇到纯节点或没有可用切分时停下,在叶子用多数类预测。这个数据的单树从第 1 路读数的 2.5 切开,第一个阈值可以直接在左图找到。

森林使用同样的分裂规则,但每棵树有放回地抽一张训练表,每个节点也只从随机取出的两列中寻找切分。第 t 棵树对 x 投正类票时记 ht(x)=1,否则为 0。累计 T 棵树后,若 1T∑t=1Tht(x)>0.5 就判为正类。前两幅图固定第 3 路为 0.5,显示单树和集成的决策截面。第三幅图跟踪同一条留出记录在不同树数下的票数比例,显示个别树改变时集成为何可能保持同一个类别。

运行原理实现 ​

下载 Python 源码 · 下载 MATLAB 源码

  • Python 环境安装 python -m pip install numpy matplotlib 后,在下载目录运行 python mmf_trees_forest.py。
  • MATLAB 在下载目录运行 result = mmf_trees_forest(),使用基础矩阵、结构体和绘图函数,无需工具箱。

比较三个阈值的加权基尼不纯度,最优阈值 2.5。再观察三棵给定浅树怎样投票。这一步演示集成机制,完整实践包含自助采样与随机特征。

最简版依赖 Python:无第三方依赖。MATLAB:基础功能,无需额外工具箱。

在源码所在目录运行 python mmf_min_trees_forest.py

py
import json
def gini(labels):
    positive_rate = sum(labels) / len(labels)
    return 2 * positive_rate * (1 - positive_rate)


x = [1, 2, 3, 4]
y = [0, 0, 1, 1]
thresholds = [1.5, 2.5, 3.5]
weighted = []
for threshold in thresholds:
    # 按切点分成两个非空子节点,各自的不纯度按样本占比加权。
    left = [label for value, label in zip(x, y) if value <= threshold]
    right = [label for value, label in zip(x, y) if value > threshold]
    weighted.append((len(left) * gini(left) + len(right) * gini(right)) / len(y))
best = thresholds[weighted.index(min(weighted))]

# 为解释投票,另外给三棵阈值已知的树;这里只演示预测。
votes = [int(3 > threshold) for threshold in thresholds]
assert best == 2.5 and sum(votes) == 2
result = {"gini_after_split": weighted, "best_threshold": best, "votes": votes, "prediction": int(sum(votes) >= 2)}
print("LAB_RESULT " + json.dumps(result, ensure_ascii=False))
下载当前源码

Python 使用元组保存分裂和子树,MATLAB 使用字段具名的结构体。两者共用同一个整数递推生成抽样序列,把行号顺序、并列分裂和特征选择方式固定下来。这样可先核对根节点和留出预测,再逐条比较 forest_positive_votes。本例准确率为 12/25、20/25 和 20/25。单树与森林在这 25 条记录上给出了同样类别,但中间的投票比例与图上的决策区域仍可以不同。增加树数通常可以降低随机抽样造成的波动,泛化误差还取决于特征、树的强弱以及树与树之间的相关性。

用标准函数复核 ​

Python 需要额外安装 scikit-learn;MATLAB 的 fitctree、TreeBagger 需 Statistics and Machine Learning Toolbox。下面两个版本各自用同一训练数据与留出数据拟合和评分。Python 限制每条路径的最大深度,MATLAB 示例限制每棵树的分支节点数;二者约束不同。随机数生成器、叶子概率汇总和收敛规则也可能不同,因此比较主要看留出误差与树模型的行为。逐条票数的跨语言验算请使用上面的原理实现。 scikit-learn RandomForestClassifier · MathWorks TreeBagger

python
import numpy as np
from sklearn.ensemble import RandomForestClassifier
from sklearn.tree import DecisionTreeClassifier

def data(axis):
    # 两路坐标做笛卡尔积,再追加未参与标签计算的第三路读数。
    a, b = np.meshgrid(axis, axis)
    a, b = a.ravel(), b.ravel()
    extra = (7 * np.arange(1, len(a) + 1) % 11) / 10
    labels = ((a >= 2.5) & (b < 3.5)) | (b >= 4.2)
    return np.column_stack((a, b, extra)), labels.astype(int)

x, y = data(np.arange(6))
x_test, y_test = data(np.arange(5) + 0.4)
# 只翻转训练标签,模拟记录错误;留出标签仍由生成规则直接给出。
y[[7, 17]] = 1 - y[[7, 17]]
tree = DecisionTreeClassifier(max_depth=3, min_samples_leaf=2, random_state=23)
# 森林有 15 棵树,节点抽取两个候选特征;随机种子用于复现本库的结果。
forest = RandomForestClassifier(n_estimators=15, max_features=2, max_depth=3,
                                min_samples_leaf=2, random_state=23)
# fit 只看到训练数据;score 在同一批留出记录计算准确率。
for model in [tree, forest]:
    print(model.fit(x, y).score(x_test, y_test))
matlab
% 用偏移后的第二张网格作留出;转置后展平与 Python 的行顺序对齐。
[train1, train2] = meshgrid(0:5);
[test1, test2] = meshgrid((0:4)+0.4);
train = [reshape(train1.', [], 1), reshape(train2.', [], 1), mod(7*(1:36).', 11)/10];
test = [reshape(test1.', [], 1), reshape(test2.', [], 1), mod(7*(1:25).', 11)/10];
y = double((train(:, 1) >= 2.5 & train(:, 2) < 3.5) | train(:, 2) >= 4.2);
yTest = double((test(:, 1) >= 2.5 & test(:, 2) < 3.5) | test(:, 2) >= 4.2);
y([8, 18]) = 1 - y([8, 18]);
rng(23, 'twister');
% MaxNumSplits 限总分裂次数,MinLeafSize 限叶子样本数。
tree = fitctree(train, y, 'MaxNumSplits', 7, 'MinLeafSize', 2);
% 15 棵树对训练行进行重抽,节点只考虑两列候选特征。
forest = TreeBagger(15, train, y, 'Method', 'classification', ...
    'NumPredictorsToSample', 2, 'MaxNumSplits', 7, 'MinLeafSize', 2);
% 分类森林的预测标签为字符形式,转为数值后与 0/1 留出标签比较。
disp([mean(predict(tree, test) == yTest), mean(str2double(predict(forest, test)) == yTest)])

参数练习 ​

保持种子和最大深度固定,将树数由 15 改成 5。在右图读出第 13 条留出记录的正类票数,再看它的预测有无变化。实验前先写下预期。

参考答案

前五棵树中有一棵投正类,前十五棵树中有三棵,两次的比例都是 0.2,都判成负类。不同位置的票数轨迹可以不同。继续增加树数,比例可能在多数阈值附近来回移动,单次准确率也可能上下波动。要估计集成的稳定性,可在真实应用中构造多个训练划分或初值比较预测的离散程度,保留最终测试集做一次确认。

关联文章 ​

MathModel FAQ · 数学建模知识库