不平衡数据分类的研究现状_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
不平衡数据分类的研究现状
&&不平衡数据在实际应用中广泛存在, 它们已对机器学习领域构成了一个挑战, 如何有效处理不平衡数据也成为目前的一个新的研究热点。综述了这一新领域的研究现状, 包括该领域最新研究内容、方法及成果。
阅读已结束，下载文档到电脑
想免费下载本文？
定制HR最喜欢的简历
下载文档到电脑，方便使用
还剩2页未读，继续阅读
定制HR最喜欢的简历
你可能喜欢您所在位置： &
&nbsp&&nbsp&nbsp&&nbsp
面向不平衡数据的结构化支持向量机集成方法探究.pdf 50页
本文档一共被下载：
次 ,您可全文免费在线阅读后下载本文档。
下载提示
1.本站不保证该用户上传的文档完整性，不预览、不比对内容而直接下载产生的反悔问题本站不予受理。
2.该文档所得收入(下载+内容+预览三)归上传者、原创者。
3.登录后可充值，立即自动返金币，充值渠道很便利
需要金币：200 &&
你可能关注的文档：
··········
··········
不平衡数据在实际应用中广泛存在，如何从不平衡数据中学习并获得分类器成为
了当前机器学习研究领域的一个热点。该方面的研究已经取得了一定的成果，并在入
侵检测、信用卡交易和基因编码信息发现等应用领域得到了广泛的应用。
已有的针对均衡数据或代价不敏感的分类器评价准则对不平衡数据不再适合，因
为不平衡数据的分类器更关注少数的分类精度。针对不平衡数据的分类问题，研究者
侧重从数据层面、算法层面和评价准则等三个方面展开研究，取得了一定的进展。在
已有的针对不平衡数据的分类学习方法中，支持向量机(SVM)的变种成了主流的
方法之一，如：结构化不平衡支持向量机(S认SVM)，该模型是在不平衡支持向量
机(ASVM)的基础上，引入数据类内结构先验信息，有效地提高了分类器的性能。
本文以StASVM模型为基础，结合集成学习方法，提出了基于结构化支持向量机的
集成学习，主要工作如下：
基于聚类的欠采样，进而构建多个子分类器，从而设计出子分类器的集成算法，其中
欠采样可有效地降低类别的不平衡性。实验表明，集成方法能够有效地提高算法的稳
定性和分类性能。
该算法为从数据集的特征空间随机采样出发，生成多个新的样本特征空间，进而诱导
出多个子分类器，从而设计出子分类器的集成算法。实验表明，该方法对不平衡数据
的分类，尤其能有效改进高维数据的分类性能。
算法先对大类样本进行聚类，依据聚类结果对样本进行初始加权，并采用Adaboost
算法思想对样本的权进行动态调整，侧重增大小类的错分样本的权值。实验表明，该
算法可进一步改进EStASVM和RsStASVM的分类性能。
关键词：不平衡数据，支持向量机，欠采样，代价敏感，集成学习
dataexists
Asimbalanced
practicalapplications，it
tolearnclassificationfromunbalanceddata．Researchershaveachievedsome
usedinintrusion
cardtransactionsand
achievements，which
detection,credit
codeinformation
discovery．
evaluationforthebalanceddataoruncostsensitiveclassificationisno
suitableforimbalanteddataastheclassificationofimbalanceddataneedsmoreconcem
focusedonthree
data．Researchers
aspects，which
data,algorithms
evaluation
havemadesome
正在加载中，请稍后... 上传我的文档
 下载
 收藏
该文档贡献者很忙，什么也没留下。
 下载此文档
正在努力加载中...
不平衡分类问题研究综述
下载积分：1500
内容提示：不平衡分类问题研究综述
文档格式：PDF|
浏览次数：6|
上传日期： 16:01:55|
文档星级：
全文阅读已结束，如果下载本文需要使用
 1500 积分
下载此文档
该用户还上传了这些文档
不平衡分类问题研究综述
关注微信公众号提高分类准确率的技术——组合分类 - _Ritchie - 博客园
组合分类方法简介
基本思想：组合分类把k个学习得到的模型（或基分类器）M1，M2，···，Mk组合在一起，旨在创建一个改进的复合分类器模型M*。使用给定的数据集D创建k个训练集D1，D2，···，Dk，其中Di用于创建分类器Mi。现在给定一个待分类的新数据元组，每个基分类器通过返回类预测进行投票。组合分类器基于基分类器的投票返回类预测。
目前常用的组合分类器有：装袋、提升和随机森林。下面就对这三种分类器依次作介绍。
装袋（bagging）
算法：装袋。装袋算法——为学习方案创建组合分类模型，其中每个模型给出等权重预测。
D：d个训练元组的集合
k：组合分类器中的模型数
一种学习方案（例如，决策树算法、后向传播等）
输出：组合分类器——复合模型M*
for i = 1 to k do
通过对D有放回抽样，创建自助样本Di
使用Di和学习方法导出模型Mi
使用组合分类器对元组x分类：让k个模型都对x分类并返回多数表决
注意：这里的每个基分类器具有相同的投票权重
提升（boosting）
在提升方法中，权重赋予每个训练元组。迭代地学习k个分类器。学习得到分类器Mi之后，更新权重，使得其后的分类器Mi+1”更关注“Mi误分类的训练元组。最终提升的分类器M*组合每个个体分类器的表决，其中每个分类器投票的权重是其准确率的函数。
Adaboost（Adaptive Boosting）是一种流行的提升算法。
算法：Adaboost.一种提升算法——创建分类器的组合。每个给出一个加权投票。
D：类标记的训练元组集。
k：轮数（每轮产生一个分类器）。
一种分类学习方案。
输出：一个复合模型。
将D中每个元组的权重初始化为1/d
for i = 1 to do
根据元组的权重从D中又放回抽样，得到Di
使用训练集Di导出模型Mi
计算Mi的错误率error(Mi)=∑dj=1wi×err(Xj)，其中，err(Xj)={0，Xj被正确分类1，Xj被误分类，wi表示元组的权重值
if error(Mi) & 0.5 then //这一步的作用是为了避免所产生的分类器效果太差
转步骤3重试
for Di 的每个被正确分类的元组 do
// 这一步是用来更新被正确分类的元组的权重值
元组的权重wi=wi×error(Mi)1-error(Mi)
规范化每个元组的权重
//将所有元组的权重值进行规范化，规范化后的结果，会发现被正确分类的元组权重降低，而被误分类元组的权重值上升
使用组合分类器对元组x分类：
将每个类的权重初始化为0
for i = 1 to k do
wi=log1-error(Mi)error(Mi) //获得基分类器的权重值
c=Mi(x) //获得基分类器的分类结果
将wi加到类c的权重 //将不同类的基分类器权重进行求和
返回具有最大权重的类
需要注意的是，这个方法存在结果复合模型对数据过分拟合的危险。
随机森林可以使用装袋与随机属性选择结合起来构建。
算法：Forest-RI.一种随机森林算法
D：类标记的训练元组集
k：分类器中的模型树
F：节点划分时，候选属性的个数
一种属性选择算法
输出：一个随机森林
for i=1 to k do
通过对D有放回抽样，创建自助样本Di
从自主样本Di的属性集合中，随机选择F个属性作为节点划分时的候选属性
根据属性选择算法，选择节点的分裂属性，对Di进行一次分裂
再次执行第3步，直到被选择的属性集都在之前的分裂中使用过，即无法再进行决策树的构建，从而得到最终的决策树模型Mi
随机森林对于属性个数的选择很敏感，通常选取log2d+1个属性。随机森林具有更快的分类速度，适合大型数据库。
类不平衡数据
类不平衡问题与代价敏感学习密切相关。传统的分类方法，将假正例和假负例的代价视为相等，所以不适合类平衡数据分类。
这里介绍四种通用的解决方案：（1）过抽样；（2）欠抽样；（3）阈值移动；（4）组合技术。第四种技术，前面已经做过介绍，下面主要对前三种技术做一下说明。注意，这里的类不平衡解决方案，都是只假定两种类别，对于多类的不平衡数据，目前还没有很好的解决措施：
过抽样就是通过对训练集中的正元组进行重复采样，直到结果训练集包含相同个数的正元组和负元组。
欠抽样是通过对训练集中的多数类随机进行删除元组，直到结果训练集包含相同个数的正元组和负元组。
这种方法适用于对于给定输入元组返回一个连续输出值得分类器。即对于输入元组X，这种分类器返回一个映射f(X)→[0,1]作为输出。该方法不出操控训练元组，而是基于输出值返回分类决策。
对于某个阈值t，满足f(X)≥t的元组X被视为正的，而其他元组被视为负的。
阈值移动就是通过改变t的值，使得稀有类的元组更容易分类。}