实验一：KNN与多项式回归

2023-05-03
作者 Lu Xiaoxiao
~1.52K 字
次阅读
条评论

实验一：KNN 与多项式回归

KNN

wine

采样率 0.3（共 42 个训练样本 11 个测试样本）

近邻范围	准确率（第一次）	准确率（第二次）	准确率（第三次）
1	81.82%	63.64%	63.64%
2	72.73%	63.64%	63.64%
3	72.73%	63.64%	63.64%
4	81.82%	63.64%	63.64%
5	81.82%	63.64%	54.55%
8	90.91%	72.73%	63.64%
10	90.91%	72.73%	54.55%

采样率 0.5（共 71 个训练样本 18 个测试样本）

近邻范围	准确率（第一次）	准确率（第二次）	准确率（第三次）
1	66.67%	72.22%	77.78%
2	66.67%	66.67%	83.33%
3	61.11%	61.11%	83.33%
4	55.56%	61.11%	72.22%
5	66.67%	61.11%	77.78%
8	72.22%	66.67%	72.22%
10	72.22%	66.67%	77.78%

采样率 0.8（共 113 个训练样本 29 个测试样本）

近邻范围	准确率（第一次）	准确率（第二次）	准确率（第三次）
1	65.52%	79.31%	51.72%
2	65.52%	65.52%	55.17%
3	62.07%	72.41%	62.07%
4	62.07%	72.41%	58.62%
5	65.52%	75.86%	58.62%
8	62.07%	72.41%	72.41%
10	62.07%	79.31%	75.86%

参数选取

由以上实验可知，在 K 比较小的时方差较大，K 比较大时方差较小。因此可尽量选择较大的 K，不过 K 过大会导致过拟合，所以在该实验中 K 可选取 3~5。

优化

在确定数据集合采样率后自适应选择 K 的值

k = range(1,10)
K_best = 0
pr_max = 0.0
for k_test in k:
    clf = KNN(X_train, y_train, k_test)
    pr_now = clf.score(X_test, y_test)
    if pr_now > pr_max:
        pr_max = pr_now
        K_best = k_test
#寻找最佳K
print('Best K: %d , Best Precision Rate: %.2f%%' % (K_best,pr_max * 100))