主题
决策树与随机森林
方法速览
- 主要用途 用阈值和特征组合做表格分类或回归。
- 必要输入 带类别或连续目标的训练样本,以及一致的特征编码。
- 适用条件 响应有阈值效应或特征之间存在交互,训练样本能覆盖常见取值。
- 典型不适用情况 需要在观测范围外延续趋势,或必须给出少量可逐条审核的规则却选用森林。
- 最低限度的验证方式 用同一留出集比较基线、浅树与森林,并检查关键分组的误差。
哪类问题适合树模型
输入是表格特征,且响应会随阈值或特征组合变化时,树可以自动寻找规则。以产线良品分类为例,一次分裂可以是“温度低于阈值”,下一次只在低温组内检查压力。分类树在叶子给出类别分布,回归树常用叶内目标均值。类别特征、缺失值的处理依实现而异,先确认训练和部署采用同一种编码及缺失值策略。
单棵树如何决定分裂
分类常用基尼不纯度。若一个节点中第
每步在候选分裂中寻找较大的下降。回归则可选择使子节点平方误差总和降低最多的分裂。这是从当前节点出发的局部选法。很深的树可能形成只含少量样本的叶子,对数据变化敏感,因此常控制深度、叶子最小样本数或作剪枝。scikit-learn 用户指南的树分裂准则
随机森林如何分散波动
典型随机森林为每棵树重抽一份有放回的训练样本,并在每个节点只考察随机选取的一部分特征。最后平均回归输出,分类则可以汇总各树的投票或类别概率,按实现定义。随机性使树学到部分不同的规则,平均后常比深单树稳定。Breiman 的随机森林论文
需要人人都能读懂的少量规则时,保留浅树。平滑线性关系和强外推需求下,线性模型通常值得优先比较,森林很难在超出训练范围后延伸连续趋势。
用十条假设记录手算基尼下降
假设父节点 10 条记录,6 正 4 负,则
特征重要度容易误读
基于训练不纯度下降的重要度可能偏向有大量可选切分位置的特征。高度相关的变量互相替代时,单列重要度也可能分摊或被遮蔽。用独立验证数据做置换重要度可以检查打乱某列会损失多少预测表现,仍需结合相关性和数据生成过程解读。重要度描述模型怎样使用列,还需单独证据才能判断干预后会发生什么。
初次验证如何设置
用同一数据切分比较基线、浅树和森林。在验证集调整树深、最小叶节点数、每次候选特征数和树数。报告不同分组或批次的误差,必要时重复随机种子。独立同分布样本下可用袋外表现作初筛。时间序列或重复主体需要按顺序或主体划分,避免用袋外抽样掩盖相关性。最后核对同一输入能否通过完整预处理流程得到可复现预测。
双语言实验
把产线简化为三个传感器。规则规定,当第 1 路读数至少为
怎样比较单棵树和多棵树
单树先对每个特征排序,把相邻不同取值的中点作为候选阈值。如果切分能让加权基尼不纯度下降,并且两边至少各有两条记录,就可能成为新节点。选下降最多的阈值后,对左右子集分别重复,最多沿任何分支走三次。遇到纯节点或没有可用切分时停下,在叶子用多数类预测。这个数据的单树从第 1 路读数的
森林使用同样的分裂规则,但每棵树有放回地抽一张训练表,每个节点也只从随机取出的两列中寻找切分。第
运行原理实现
- Python 环境安装
python -m pip install numpy matplotlib后,在下载目录运行python mmf_trees_forest.py。 - MATLAB 在下载目录运行
result = mmf_trees_forest(),使用基础矩阵、结构体和绘图函数,无需工具箱。
比较三个阈值的加权基尼不纯度,最优阈值 2.5。再观察三棵给定浅树怎样投票。这一步演示集成机制,完整实践包含自助采样与随机特征。
最简版依赖 Python:无第三方依赖。MATLAB:基础功能,无需额外工具箱。
在源码所在目录运行 python mmf_min_trees_forest.py
py
下载当前源码import json
def gini(labels):
positive_rate = sum(labels) / len(labels)
return 2 * positive_rate * (1 - positive_rate)
x = [1, 2, 3, 4]
y = [0, 0, 1, 1]
thresholds = [1.5, 2.5, 3.5]
weighted = []
for threshold in thresholds:
# 按切点分成两个非空子节点,各自的不纯度按样本占比加权。
left = [label for value, label in zip(x, y) if value <= threshold]
right = [label for value, label in zip(x, y) if value > threshold]
weighted.append((len(left) * gini(left) + len(right) * gini(right)) / len(y))
best = thresholds[weighted.index(min(weighted))]
# 为解释投票,另外给三棵阈值已知的树;这里只演示预测。
votes = [int(3 > threshold) for threshold in thresholds]
assert best == 2.5 and sum(votes) == 2
result = {"gini_after_split": weighted, "best_threshold": best, "votes": votes, "prediction": int(sum(votes) >= 2)}
print("LAB_RESULT " + json.dumps(result, ensure_ascii=False))Python 使用元组保存分裂和子树,MATLAB 使用字段具名的结构体。两者共用同一个整数递推生成抽样序列,把行号顺序、并列分裂和特征选择方式固定下来。这样可先核对根节点和留出预测,再逐条比较 forest_positive_votes。本例准确率为
用标准函数复核
Python 需要额外安装 scikit-learn;MATLAB 的 fitctree、TreeBagger 需 Statistics and Machine Learning Toolbox。下面两个版本各自用同一训练数据与留出数据拟合和评分。Python 限制每条路径的最大深度,MATLAB 示例限制每棵树的分支节点数;二者约束不同。随机数生成器、叶子概率汇总和收敛规则也可能不同,因此比较主要看留出误差与树模型的行为。逐条票数的跨语言验算请使用上面的原理实现。 scikit-learn RandomForestClassifier · MathWorks TreeBagger
python
import numpy as np
from sklearn.ensemble import RandomForestClassifier
from sklearn.tree import DecisionTreeClassifier
def data(axis):
# 两路坐标做笛卡尔积,再追加未参与标签计算的第三路读数。
a, b = np.meshgrid(axis, axis)
a, b = a.ravel(), b.ravel()
extra = (7 * np.arange(1, len(a) + 1) % 11) / 10
labels = ((a >= 2.5) & (b < 3.5)) | (b >= 4.2)
return np.column_stack((a, b, extra)), labels.astype(int)
x, y = data(np.arange(6))
x_test, y_test = data(np.arange(5) + 0.4)
# 只翻转训练标签,模拟记录错误;留出标签仍由生成规则直接给出。
y[[7, 17]] = 1 - y[[7, 17]]
tree = DecisionTreeClassifier(max_depth=3, min_samples_leaf=2, random_state=23)
# 森林有 15 棵树,节点抽取两个候选特征;随机种子用于复现本库的结果。
forest = RandomForestClassifier(n_estimators=15, max_features=2, max_depth=3,
min_samples_leaf=2, random_state=23)
# fit 只看到训练数据;score 在同一批留出记录计算准确率。
for model in [tree, forest]:
print(model.fit(x, y).score(x_test, y_test))matlab
% 用偏移后的第二张网格作留出;转置后展平与 Python 的行顺序对齐。
[train1, train2] = meshgrid(0:5);
[test1, test2] = meshgrid((0:4)+0.4);
train = [reshape(train1.', [], 1), reshape(train2.', [], 1), mod(7*(1:36).', 11)/10];
test = [reshape(test1.', [], 1), reshape(test2.', [], 1), mod(7*(1:25).', 11)/10];
y = double((train(:, 1) >= 2.5 & train(:, 2) < 3.5) | train(:, 2) >= 4.2);
yTest = double((test(:, 1) >= 2.5 & test(:, 2) < 3.5) | test(:, 2) >= 4.2);
y([8, 18]) = 1 - y([8, 18]);
rng(23, 'twister');
% MaxNumSplits 限总分裂次数,MinLeafSize 限叶子样本数。
tree = fitctree(train, y, 'MaxNumSplits', 7, 'MinLeafSize', 2);
% 15 棵树对训练行进行重抽,节点只考虑两列候选特征。
forest = TreeBagger(15, train, y, 'Method', 'classification', ...
'NumPredictorsToSample', 2, 'MaxNumSplits', 7, 'MinLeafSize', 2);
% 分类森林的预测标签为字符形式,转为数值后与 0/1 留出标签比较。
disp([mean(predict(tree, test) == yTest), mean(str2double(predict(forest, test)) == yTest)])参数练习
保持种子和最大深度固定,将树数由
参考答案
前五棵树中有一棵投正类,前十五棵树中有三棵,两次的比例都是