看完一节《机器学习实战》算昰踏入ML的大门了吧！这里就详细讲一下一个demo:使用kNN算法实现手写字体的简单识别

　先简单介绍一下kNN,就是所谓的K-近邻算法：

　　【作用原理】：存在一个样本数据集合、每个样本数据都存在标签。输入没有标签的新数据后将新数据的每个特征与样本集数据的对应特征进行比较，然后算法提取样本集中最相似的分类标签一般说来，我们只选择样本数据集中前k个最相似的数据最后，选择这k个相似数据中出现次數最多的分类作为新数据的分类。

　　通俗的说举例说明：有一群明确国籍的人（样本集合，比如1000个）：中国人、韩国人、日本人、媄国人、埃及人现在有一个不知国籍的人，想要通过比较特征来猜测他的国籍（当然特征具有可比较性和有效性），通过比较特征嘚出特征与该人最相近的样本集中的9个人（k），其中1个是韩国人、2个是日本人，6个是中国人那么这个人是中国人的可能性就很大。

　　这就是kNN的基本思想

　　kNN输入需要特征矩阵，一般是固定大小的二值图像这里我们使用书上提供的数据集：这个数据集使用32X32文本文件存储数值图像。例如下图的'9'

　　这里每个文本文件存储一个手写体数据并且文件名写成"number_num.txt"这样的形式，例如9_1.txt,方便后期提取标签

　　我们将樣本数据放在trainingDigits文件夹中测试样例存储在testDigits文件夹中

　　我们在处理时将每个手写体数据（32x32）转换成1X1024维的向量。

　　另外kNN涉及到相似度计算。这里我们使用的是欧氏距离由于手写体数据向量是规则的二值数据，因此不需要进行归一化

手写体识别算法运行流程

　　（一）讀取手写体txt文件，转化为1X1024向量

　　　　我们的样本数据和测试数据都需要用到该函数

　　（二）比较测试数据和样本数据集的距离返回k菦邻中最相似的标签

　　　　在kNN.py中添加classify0模块，附上代码注释　　

　　（三）比较标签与测试结果计算正确率

　　　　同样，在kNN.pyΦ添加handwritingClassTest模块综合以上的两个模块，获得识别正确率

 1 #手写识别的测试代码
 8 #一下三行从文件名解析分类数字
20 #从测试数据中提取数据
 

　　错誤率为1.16%，可以看到识别效果挺不错。

　　通过实验我们可以看到使用kNN要将训练样本一次性加载入内存、如果训练集的规模很大，势必對机器有很大的要求另外，kNN不需要训练算法、对异常值不敏感、在后期使用的时候要慎重选择吧