神回复_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
评价文档：
上传于||暂无简介
大小：14.92KB
登录百度文库，专享文档复制特权，财富值每天免费拿！
你可能喜欢热门文章最新文章背景K-means也是聚类算法中最简单的一种了，但是里面包含的思想却是不一般。最早我使用并实现这个算法是在学习韩爷爷那本数据挖掘的书中，那本书比较注重应用。看了Andrew Ng的这个讲义后才有些明白K-means后面包含的EM思想。聚类属于无监督学习，以往的回归、朴素贝叶斯、SVM等都是有类别标签y的，也就是说样例中已经给出了样例的分类。而聚类的样本中却没有给定y，只有特征x，比如假设宇宙中的星星可以表示成三维空间中的点集。聚类的目的是找到每个样本x潜在的类别y，并将同类别y的样本x放在一起。比如上面的星星，聚类后结果是一个个星团，星团里面的点相互距离比较近，星团间的星星距离就比较远了。在聚类问题中，给我们的训练样本是，每个，没有了y。算法K-means算法是将样本聚类成k个簇（cluster），具体算法描述如下：1、 随机选取k个聚类质心点（cluster centroids）为。2、 重复下面过程直到收敛 {对于每一个样例i，计算其应该属于的类对于每一个类j，重新计算该类的质心K是我们事先给定的聚类数，代表样例i与k个类中距离最近的那个类，的值是1到k中的一个。质心代表我们对属于同一个类的样本中心点的猜测，拿星团模型来解释就是要将所有的星星聚成k个星团，首先随机选取k个宇宙中的点（或者k个星星）作为k个星团的质心，然后第一步对于每一个星星计算其到k个质心中每一个的距离，然后选取距离最近的那个星团作为，这样经过第一步每一个星星都有了所属的星团；第二步对于每一个星团，重新计算它的质心（对里面所有的星星坐标求平均）。重复迭代第一步和第二步直到质心不变或者变化很小。下图展示了对n个样本点进行K-means聚类的效果，这里k取2。K-means面对的第一个问题是如何保证收敛，前面的算法中强调结束条件就是收敛，可以证明的是K-means完全可以保证收敛性。下面我们定性的描述一下收敛性，我们定义畸变函数（distortion function）如下：J函数表示每个样本点到其质心的距离平方和。K-means是要将J调整到最小。假设当前J没有达到最小值，那么首先可以固定每个类的质心，调整每个样例的所属的类别来让J函数减少，同样，固定，调整每个类的质心也可以使J减小。这两个过程就是内循环中使J单调递减的过程。当J递减到最小时，和c也同时收敛。（在理论上，可以有多组不同的和c值能够使得J取得最小值，但这种现象实际上很少见）。由于畸变函数J是非凸函数，意味着我们不能保证取得的最小值是全局最小值，也就是说k-means对质心初始位置的选取比较感冒，但一般情况下k-means达到的局部最优已经满足需求。但如果你怕陷入局部最优，那么可以选取不同的初始值跑多遍k-means，然后取其中最小的J对应的和c输出。K-means与EM下面累述一下K-means与EM的关系，首先回到初始问题，我们目的是将样本分成k个类，其实说白了就是求每个样例x的隐含类别y，然后利用隐含类别将x归类。由于我们事先不知道类别y，那么我们首先可以对每个样例假定一个y吧，但是怎么知道假定的对不对呢？怎么评价假定的好不好呢？我们使用样本的极大似然估计来度量，这里是就是x和y的联合分布P(x,y)了。如果找到的y能够使P(x,y)最大，那么我们找到的y就是样例x的最佳类别了，x顺手就聚类了。但是我们第一次指定的y不一定会让P(x,y)最大，而且P(x,y)还依赖于其他未知参数，当然在给定y的情况下，我们可以调整其他参数让P(x,y)最大。但是调整完参数后，我们发现有更好的y可以指定，那么我们重新指定y，然后再计算P(x,y)最大时的参数，反复迭代直至没有更好的y可以指定。这个过程有几个难点，第一怎么假定y？是每个样例硬指派一个y还是不同的y有不同的概率，概率如何度量。第二如何估计P(x,y)，P(x,y)还可能依赖很多其他参数，如何调整里面的参数让P(x,y)最大。这些问题在以后的篇章里回答。这里只是指出EM的思想，E步就是估计隐含类别y的期望值，M步调整其他参数使得在给定类别y的情况下，极大似然估计P(x,y)能够达到极大值。然后在其他参数确定的情况下，重新估计y，周而复始，直至收敛。上面的阐述有点费解，对应于K-means来说就是我们一开始不知道每个样例对应隐含变量也就是最佳类别。最开始可以随便指定一个给它，然后为了让P(x,y)最大（这里是要让J最小），我们求出在给定c情况下，J最小时的（前面提到的其他未知参数），然而此时发现，可以有更好的（质心与样例距离最小的类别）指定给样例，那么得到重新调整，上述过程就开始重复了，直到没有更好的指定。这样从K-means里我们可以看出它其实就是EM的体现，E步是确定隐含类别变量，M步更新其他参数来使J最小化。这里的隐含类别变量指定方法比较特殊，属于硬指定，从k个类别中硬选出一个给样例，而不是对每个类别赋予不同的概率。总体思想还是一个迭代优化过程，有目标函数，也有参数变量，只是多了个隐含变量，确定其他参数估计隐含变量，再确定隐含变量估计其他参数，直至目标函数最优。CPDA数据分析天地(wxchinacpda)　
　文章为作者独立观点，不代表微头条立场
的最新文章
有些时候我们并不是忘记了痛苦而是我们必须带着那份心痛生活着这才是真正的痛.....近日王健林做客《鲁豫有约》，不仅带领鲁豫进万达食堂参观，首次开放私人飞机携鲁豫一同出差，更是语出惊人。2016年6月网贷行业当月成交量1713.71亿元，环比15.78%。以下为2015年1月至2016年6月网随着移动互联网、4K、VR等新应用的发展，对于高速数据传输需求将进一步增长。大数据是什么？是新的思维创新？还是技术与行业的有效融合？不管答案如何，大数据已引发了各行业的广泛关注，并改变明天不见不散！8月6日，第四届中国数据分析行业峰会在北京中国国际展览中心盛大开幕。本届峰会吸引了近700人的参与，现场人气爆棚，掌声不断，反响相当热烈。数十家媒体对峰会进行了追踪报道。本次峰会在树洞论坛中同步视频直播。第四届中国数据分析行业峰会已圆满落幕！本届峰会吸引了近700人的参与，现场人气爆棚，掌声不断，反响相当热烈！随着大数据蕴涵价值的逐步释放，使其成为IT信息产业中最具潜力的蓝海。大数据正以一种革命风暴的姿态闯入人们视野“七夕今宵看碧霄，牵牛织女渡河桥”，七夕节将至，在线旅游市场爆棚。为了解2016年七夕出境游动态，去哪儿想看里约奥运会？不如来看身边的运动城市！Excel图表中藏着一个小技巧，可以让你的图表更漂亮，更场景化。中国的大数据硬件主要供应商则是华为、中兴和联想，其目前主要角色是跟随者，大数据硬件产品市场占有率不高。现在 Pokémon GO 这款手游在欧美火得不得了，各个城市都出现了大群四处游逛的“训练师”，他们都在搜寻更强大的 Pokémon 。第四届数据分析行业峰会视频——北京犀数科技有限公司首席数据官孙雪演讲视频分享。一大波峰会视频袭来，适合周末在家好好学习，你准备好了吗？今天是虐狗节，去年看过一篇文章，讲如何通过大数据找到你的另一半！里面通过理性建模和精准定位找到合适伴侣，不过大数据真有这么神奇么？我就随便聊聊约会网站算法。怎么从数据中挖出钱来？如何对产品进行数据分析呢？或者说对我这样的一个数据分析小白来讲，该如何入手数据分析呢？当下最流行的技术词汇可以概括为“云物移大智”，即云计算、物联网、移动互联网、大数据和智慧城市。“大数据”在其时代无论如何变化，社会最重要的始终是人才，衡量一个行业内人才的重要标准首先是职位需求的供给比例，而另一个方面自今年3月开始，居民寄快递需要实名投寄。早在快递实名制推出伊始，这项制度就引起了来自各方的广泛讨论：一边，一“钱学森之问提出‘为什么我们的学校总是培养不出杰出人才’？这是在探讨我们缺少创新型人才、领军人才的原因。数据标准化处理是数据挖掘一项基础工作，不同评价指标往往具有不同的量纲和量纲单位，这样的情况会影响到数据分析的榜单的地方就有刷榜，有数据统计的平台就有数据作弊的作坊。　　之前写了一篇文章，通过统计指标分析渠道投放的效果近日，国内著名相亲网站珍爱网对9000万会员进行了以“感情技巧”为主题的抽样调研。调研数据发现，近40%的会最近有不少质疑大数据的声音，这些质疑有一定的道理，但结论有些以偏概全，应该具体问题具体分析。对大数据的疑问和网上已经有太多关于怎么增加微博粉丝数，以及怎样让我们发的微博获得更多转发的建议了。我们并不知道这些建议是否有4 月2日发表在柳叶刀上的研究收集了从1975年到2014年的数据，提供了至今成年人体重指数BMI趋势的全图3.12日，“用户画像”沙龙你来了吗？DATAHOOP内测试用你参加了吗？新版的数据分析课程你感受了没有？有数据挖掘是利用业务知识从数据中发现和解释知识(或称为模式)的过程，这种知识是以自然或者人工形式创造的新知识。创建条件（3+N原则）
1名 具有独立法人资格和领导力的leader
1个 由至少3名数据分析师组建什么是数据分析事务所
数据分析师事务所是由数据分析师组成的从事数据分析服务的专业中介机构，接受中国3月21日是世界睡眠日，近期一家机构发布的《2016喜临门中国睡眠指数》
(以下简称《睡眠指数》)显示3.19，是一个值得让所有“数据分析师”学员记住的日子，这一天，数据分析师（CPDA）课程体系做出重大变革，这一天，“数据分析师”学员拥有了一个更易操作的数据分析平台，这一天，协会自主研发的datahoop平台正式走到“数据分析师”们面前。微信直播课堂，开讲啦！主讲时间日
18:00-19:00 主讲题目大数据转换成价值的方法1这就是Datahoop，一个会思考的系统Hadoop是一个流行的开源框架，用来存储和处理商用硬件上的大规模数据集。对于HDFS上的海量日志而言，编写周五了，咱们不说数据聊点别的吧。现在是什么时代？高速发展的大数据时代。数据时代说什么？当然是数据。下面我们细细说
数据时代多的是什么？人wxchinacpda中国商业联合会数据分析专业委员会，作为行业协会，积极推动数据分析技术的普及和应用，培养专业人才，促进中国数据分析行业健康发展。官网：http://www.chinacpda.org热门文章最新文章wxchinacpda中国商业联合会数据分析专业委员会，作为行业协会，积极推动数据分析技术的普及和应用，培养专业人才，促进中国数据分析行业健康发展。官网：http://www.chinacpda.org来源：网站分析公会原文链接：.cn/s/blog_691ac57d0102vmx8.html导读所有优秀的数据可视化依赖优异的设计，并非仅仅选择正确的图表模板那么简单。全在于以一种更加有助于理解和引导的方式去表达信息，尽可能减轻用户获取信息的成本。当然并非所有的图表制作者都精于此道。所以我们看到的图表表达中，各种让人啼笑皆非的错误都有，下面就是这些错误当容易纠正的例子。1、饼图顺序不当饼图是一种非常简单的可视化工具，但他们却常常过于复杂。份额应该直观排序，而且不要超过5个细分。有两种排序方法都可以让你的读者迅速抓取最多的重要信息。方法一：将份额最大的那部分放在12点方向，逆时针放置第二大份额的部分，以此类推。方法二：最大部分放在12点，然后顺时针放置。2、在线状图中使用虚线虚线会让人分心，而是用实线搭配合适的颜色更容易彼此区分。3、数据摆放不直观你的内容应该符合逻辑并于直观的方式引导读者阅读数据。对类目进行按字母，次数或数值大小进行排序。4、数据模糊化确保数据不会因为设计而丢失或被覆盖。例如在面积图中使用透明效果来确保用户可以看到全部数据。5、耗费读者更多的精力要通过辅助的图形元素来使数据更易于理解，比如在散点图中增加趋势线。6、错误呈现数据确保任何呈现都是准确的，比如，气泡图的大小应该跟数值一样，不要随便标注。7、在热图中使用不同颜色一些颜色比其他颜色突出，赋予了数据不必要的重元素。反而你应该使用单一颜色，然后通过颜色的深浅来表达。8、柱状过宽或过窄柱子与柱子之间的间隔最好调整为宽的1/2。9、数据对比困难对比是呈现差异的有效方式，但如果你的读者不易对比时，效果就大打折扣了。确保数据的呈现方式一致，可以让你的读者对比。10、使用三维图尽管这些图看来让人振奋，但3D图也容易分散预期和扰乱数据，坚持2D是王道。完近期精彩文章（回复数字获取）：150918 史上最全的微信运营架构图！150917 十位TED讲者给年轻人的建议（正能量满格！）150905 重磅 | 大数据正式提升为国家战略，下一个万亿风口正席卷而来！150819 腾讯发布2015微信用户数据报告150812 中国互联网公司最新最全阵亡名单，涉及16个领域千余企业！附死因和反思！150719 我从腾讯那“偷 了”3000万QQ用户数据，出了份很有趣的独家报告！150711 一张图告诉你创业成本有哪些？亿篇自媒体文章大数据分析结果告诉你：什么样的文章能疯转？150630 （完整版）2015年度大数据发展10大预测（内有福利）15005 天天说大数据但不知怎么用？读完这篇你就懂了15006 重磅| 有关大数据，看这一篇就够了！15007 大数据：“啤酒＋尿布”成经典案例更多内容请回复相应6位日期获取（例如，查看日的文章，需输入150806）大数据(hzdashuju)　
　文章为作者独立观点，不代表微头条立场
的最新文章
近百年来，总有一些公司很幸运地、有意识或无意识地站在了技术革命的浪尖之上。一旦处在了那个位置，即使不做任何事，也可以随着波浪顺顺当当向前漂个十年甚至更长的时间。宝宝的离婚门不断发酵，与“张继科内裤”为代表的奥运热点一起包揽了微博热搜的前十。但朋友圈中许多营销号为获取流量纷纷无耻地变成标题党，而不明真相的吃瓜群众却屡试不爽地点击被骗。本文将通过阿里云·数加严肃解读数据背后的媒体传播路径！习惯上，北上广深被称为一线城市，是程序员就业的首选。根据多个调查机构的调查结果显示，自2007年起，程序员的就业城市选择已经开始从北上广深向新一线城市转移。大数据、机器学习、深度学习，这些看似相关又不同的东西，究竟带给我们什么价值？我们究竟能用它们做什么？它们将带我们去何方？禹唐(Yutangtiyu)：可穿戴设备对职业体育产生了什么影响？可穿戴技术的井喷式发展，又会带来怎样的法律问题？“机器学习时代已经来临，”她说，“前景无比广阔。”这个时代，可以说“得数据者，得天下”。随着移动和智能硬件的飞速发展，会源源不断地产生越来越多的大数据，也会催生越来越多的创新模式。IT巨头们争夺数据的脚步从不会停止，也许今天微软收购LinkedIn只是好戏刚刚开场。《我是歌手》总决赛居然有第8位嘉宾？是的，你没有看错，是由阿里音乐董事长高晓松隆重推荐的神秘嘉宾。当大家纷纷大数据在企业应用中的构成是怎样的？国内外有哪些知名大数据创业公司？为什么大数据创业增速缓慢？天使客微访谈第21期，除了请到复星昆仲刘思齐之外，更实现了第一次千人群直播。2015年，中国有四个炙手可热的国家战略概念：第一个，“一带一路”；第二个，“大众创业、万众创新”；第三个，“互联网+”；第四个，“中国制造2025”。这四个战略概念其实是一体的，本质上是通过新科技革命和新工业革命对财富的再创造和重新分配。未来已来，人工智能真的超越了人类？人机对弈备受瞩目，探机器的学习能力。互联网诞生时有个段子“在网上，没人知道你是一条狗”，而在大数据时代，通过数据的分析，我们不但能知道你是一条狗，而且知道公母、你爱吃什么、什么时候睡。今天，这个社会已经充满了数据，未来，所有的工厂都会变成数据工厂，所有的企业都会变成数据企业。2016年是去产能的一年，“中国制造2025”将为中国经济发展带来新的机遇。工信部部长苗圩表示，2016年，工信部将着力推进供给侧结构性改革，深入实施“中国制造2025”。
2016，十大热词将带你秒懂“中国制造2025”：未来世界是什么样的？相信很多人都幻想过。下面16条名人语录，带你感受一下全球牛人们眼中的未来世界。2000年以前，人类仅存储大约12EB的数据。但现如今，每天都将会产生大约2EB的数据。换言之，过去两年内人类社会的数据增长量占到全世界所有数据的90%以上。因为数据获取的便利性，现在任何一家触网的公司，都宣称自己是大数据公司。知其一，也能知其二日（周四）晚20:00-21:00，EMC中国研究院院长Ricky Sun（孙宇熙）与微友们共同探讨大数据时代的程序员生存之道。通过大数据的理性建模和精准定位真能找到合适伴侣吗？硅谷工程师告诉你约会APP算法和在现实中的策略。摘要：2015年，对于数据行业来说呈现出百花齐放的局面，而电子商务，这个对于数据反馈最快速最全面的行业，学会我看到过很多讨论数据产品的文章，但大家基本没有统一的认识，对概念的理解也不太认同，所以这里想简单写写自己的观点，主要内容也是不会在其它网文看到的一家之谈。每一个做过调研的人，都会惊讶于中美两国在大数据分析理念和客户心态上的巨大差别。“企业数据分析，中美在理念方面相差2-3年，而在实际执行层面或许有5年左右的差距。”美国数据分析科学家、\全美五大可视化研究中心的Derek Wang博士表示。我看到过很多讨论数据产品的文章，但大家基本没有统一的认识，对概念的理解也不太认同，所以这里想简单写写自己的观点，主要内容也是不会在其它网文看到的一家之谈。盘点网络四巨头的大数据营销模式这几天心里颇不宁静了，眼看上线的日子越来越临近，而项目Bug之多，密密的交叉着，却无从改起，于是想法纠结乱麻了一片……???这样想着，猛一抬头，不觉墙上的日历只剩薄薄的一叠了，轻轻地再撕去一张，想必明天是验收不了……在理解了要选择怎样的指标来衡量各项业务之后，我们可以对业务有一个客观和全面的把握，可是数字本身无法告诉我们发大数据已成为全球IT支出的新增长点，这块不断增大的蛋糕开始吸引越来越多人和企业的注意。那么，在大数据时代下，该如何利用数据，通过这些数据为企业的营销、管理与决策提供支持，成为企业关注的重心。还有两周，我们都要和自己的2015年Say goodbye了。每一个做过调研的人，都会惊讶于中美两国在大数据分析理念和客户心态上的巨大差别。“企业数据分析，中美在理念方面相差2-3年，而在实际执行层面或许有5年左右的差距。”美国数据分析科学家、\全美五大可视化研究中心的Derek Wang博士表示。开场白指的是在拜访客户开始的30秒到1分钟左右的时间内，销售人员对目标客户所讲的话，差不多就是前几句话。那么如何设计极具吸引力的开场白呢？在Burtch Works开展招聘工作时，我们与很多想要在数据科学这一成长性领域有所发展的分析学专家探讨过，对具体的实施方案提出了疑问。我从招聘者的角度列出了在数据科学方面对成功十分关键，并且是招聘经理首先考虑的一些技术类与非技术类技能。如果你在考虑跳槽（或进入这个行业），我能给出的最好建议是现在就开始准备。你需要给自己大量时间, 避免填鸭模式。花点时间确保你能用自己的语言解释核心概念。谈到大数据，相信大家对 Hadoop 和 Apache Spark 这两个名字并不陌生。但我们往往对它们的理解只是提留在字面上，并没有对它们进行深入的思考，下面不妨一起看下它们究竟有什么异同。2016年春运从1月24日至3月3日，共计40天。 “春运”被誉为人类历史上规模最大的、周期性的大迁徙。在40天左右的时间里，将有20多亿人次的人口流动，占世界人口的1/3！每天网上售票的高峰是什么时候？大数据给你答案！人们常说“用数据说谎”，我要说往往数据的分析是没问题的，但这些分析却是建立在夸大或不实的数据之上。下面便是几第二届世界互联网大会的召开，将大数据战略推向了又一高潮，许多与数据相关的职位如雨后春笋般涌现，今天将向大家推出8张数据科学相关职位信息图以及1张跟这些职位有关的薪酬信息图，带你了解数据科学行业的进入门槛与岗位职责。又到了一年年底，Google 和百度这两家公司分别公布了 2015 年度热门搜索词排行榜，我们先分别来了解一下。根据麦肯锡2011年发布的一份研究报告，到2018年世界范围内将会出现高达140,000 至190,000的R是数据科学家中最流行的编程语言和环境之一，在Spark中加入对R的支持是社区中较受关注的话题。作为增强Spark对数据科学家群体吸引力的最新举措，最近发布的Spark 1.4版本新增加了R API（SparkR）。Excel可以说是MS Office系列中最神奇也最重要的软件。对于专业的职场人士，工作中经常需要用到Excel来分析数据。亲们别再傻傻地用鼠标点来点去啦，用这10个基本技巧来提高工作效率，让你做Excel事半功倍。墨迹天气成立到现在5年多，已经积累了4亿用户，4亿是什么概念？13.5亿中国人，每四个人中就有一个下载过墨迹天气，4亿的独立注册用户数超过美国人口总数。你是不是和很多人一样觉得年终总结只是走个形式，所以压根不放心上？大错特错，聪明的职场人都知道年终总结是年末最hzdashuju大数据蕴藏着丰富的信息和价值，如何处理好大数据并发掘其潜藏的商业价值，这是大数据时代的新挑战。我们将为大家提供与大数据相关的最新技术和资讯。热门文章最新文章hzdashuju大数据蕴藏着丰富的信息和价值，如何处理好大数据并发掘其潜藏的商业价值，这是大数据时代的新挑战。我们将为大家提供与大数据相关的最新技术和资讯。}