摘 要：大数据对于统计学的影响日趋加深，促使负担着培育数据采集的统计学教育也面临着严峻的挑战，为了和新的外部趋势相适应" />
免费阅读期刊
论文发表、论文指导
周一至周五
9：00&22：00
大数据时代对统计学的挑战
　　摘 要：大数据对于统计学的影响日趋加深，促使负担着培育数据采集的统计学教育也面临着严峻的挑战，为了和新的外部趋势相适应，统计教育应该主动进行改革。然而，对于大数据会给统计学带来什么挑战，统计学在新形势下怎样变革，却很少有人给予关注，文章从大数据和统计学的联系和差异、大数据对统计学的挑战和新形势下统计学的改革三个方面来讨论这一问题。 中国论文网 http://www.xzbu.com/3/view-7161890.htm　　关键词：大数据；统计学；新形势 　　大数据是互联网时代的新型产物，这一理念是在一九八零年由美国的未来学家埃尔夫托夫勒提出的。到了二十一世纪，随着互联网技术的普及和运用，全世界的数据量大概每2年翻一倍，这说明人类在最近两年产生的数据量等同于以往产生数据量的总和。大数据虽然在我国发展较晚，但是从起步之后就一直蓬勃发展，尤其是最近几年，新的大数据采集、发掘、储存、探析类企业和组织逐渐建成，大数据在我国各行各业的使用日趋广泛，遍及信息、金融、商品销售等行业。 　　一、大数据和统计学之间的联系和差异 　　统计教育是以统计学理论和统计学在相应领域的使用为主的教育内容，所以想要分析大数据时代统计学教育所面对的挑战和改革，首先应该搞清大数据和统计学二者的概念，明白两者之间的联系和差异。 　　大数据和统计学之间是有密切联系的。首先，大数据虽然是通过巨型数据采集构成，构成主要涵盖非结构化数据和半结构化数据，和通常结构化数据不一样，但是它的根本依然没有离开数据的属性，统计学依然可以把大数据看做探究的主要方面。第二，大数据对于数据的通常处理过程是：搜集―统计解析―发掘―找到需要的信息，而统计活动的主要顺序则是：统计设计―数据采集―数据整理―数据解析―发现数量联系和规律，二者对于数据的处理方式在某些方面虽然有部分差异，但是基本过程也有很多相似的地方。第三，一方面统计学为大数据的研究提供基本方式，比如大量的观察、数据分组、相关解析等也是分析大数据的主要方式，另一方面因为在大数据探究和处理过程中应该借助新的信息技术，所以大数据的发展在很大范围里提升了统计学探究设施和方式，使现代信息设备和互联网技术在统计学的使用更加广泛。 　　大数据和统计学的主要差别体现在探究目标、数据处理对象和解析技艺上。大数据通过发现数据机遇和数据价值，寻求数据回报为最终目标，数据所触及的范围比较宽泛，运用遍布互联网、经济分析、财产管理、商业投资和医疗器械等方面，处理的数据主要是海量、全面性的非架构化数据和半结构化数据。然而统计学以发现数据后映射物体的自身关联和规律为目的，处理的数据主要为数量不大的结构化数据，使用概率论、非全面调查、抽样推断和相应回归解析等数理统计理论为探究方式。所以，相对于统计学，大数据不但在技术和工具的运用里更为全面和智能，和互联网技术的联结的也变的十分紧密，而且在所处理的数据种类和探究目标上都和统计学有所区别。 　　二、大数据时代给统计学带来的挑战 　　大数据和统计学虽然密切相关，但是两者在探究目标、数据处理和解析设备方面却有着很大的不同，人类步入信息时代之后，随着非结构化、半结构化的大数据的比例急速上涨，互联网技术在数据采集和处理中的运用日渐宽泛，大家对数据价值和数据回报的追求更加猛烈。怎样汲取大数据探究里的价值理论，使受教育者把握良好、先进、适用的数据搜集、解析和处理的技术。在大数据时代统计教育将会面对的挑战主要表现为以下几点。 　　（一）对教育内容的挑战 　　当下统计学专业教育内容主要是概率论和数理统计、抽样抽查、统计形式和有关的统计运用学科，基本以结构化数据为主要的处理对象，而对非结构化和半结构化数据的解析和设备的运用则触及很少。然而，依据大数据时代对数据处理高端人士素养和技术的需求，目前统计学的内容已经不可以满足非结构和半结构的海量数据探究和商业运用对人才培育的需求。所以，统计学的教育应该看清形势，以对统计专业人士的现实需要为核心，不停地提升原来的科目内容，开设新的课程，才可以确保教育内容跟上大数据时代前行的步伐。 　　（二）对教育方法的挑战 　　目前统计学教育模式以课堂教育为中心，主要以老师讲解为主，注重理论，忽略应用，注重方式讲解，忽略技能培育，并且教育方式单调，教育方法陈旧，教育组织的合作观念较弱。所以现在的统计学教育方法已经不适合大数据时代对全面性数据处理和分析人才的素养需求，应该在教学方法上展开调适和改革。 　　（三）对人才培育方式的挑战 　　目前统计学教育方式以给予学生知识，培育政府、企业、事业单位需求的统计任务人才和学校、科研组织需求的统计教育和研究人员为主要内容和目的，另外大多高校老师综合素养不够，本专业之外的知之甚少，实验室的建成和设施的更新速度落后，形成培育出的学生偏重于公式推导、运算和数学模型解析，知识构架以数理认知为主，在经济学、管理学、计算机学等领域的认知较少，知识探究和观察的目光短浅，解决现实困难的能力不足。大数据时代虽然需要统计人才拥有数据处理和解析所需求的基础素养和技术，但是更加侧重它从海量的数据里掌控市场机遇，发现和发掘商业价值，为所处行业制造利益的内在潜力、奋发精神和探究欲望。 　　三、新形势下统计学的改革 　　信息时代对于统计人员的素质提出了更高的需求，统计学的教育方式也需要进行部分改革。 　　首先，统计人员应该提升对于新技术的敏感性。因为信息技术的不断发展、不断更新，这就需要统计人员具备职业敏感性，及时学习和理解新技能，能在大数据的环境下熟练运用专业技能。其次，统计人员应该提升团队合作意识。作为统计人员不仅要做好本职工作，还要及时了解团队内部各成员的工作进展状况，相互学习、互相共享信息资源。最后，统计人员应该具备自主创新能力。信息化社会的知识更新十分迅速，统计人员唯有不断学习、不断革新，才能够适应大数据时代的需求。 　　结语 　　大数据和统计学两者在本质、探究目标、数据处理对象和技能工具等部分，有联系也有差异。大数据时代的到来不但对统计学的固定探究方式和价值观念带来一定的冲击，并且致使统计学教育面对在教师知识结构、教育内容、教育方式和人才培育方式等方面的众多挑战。所以，为了适应大数据时代的发展潮流和培育更加有效、素养更高、适应能力更强的统计专业人才，统计学教师和统计教育都需要跟上时代，积极做出对应的调整和改革。（作者单位：太原市统计局调查监测中心） 　　参考文献： 　　[1] 耿直.大数据时代统计学面临的机遇与挑战[J].统计研究，-9. 　　[2] 邱东.大数据时代对统计学的挑战[J].统计研究，-22. 　　[3] 游士兵，张佩，姚雪梅.大数据对统计学的挑战和机遇[J].珞珈管理评论，5-171. 　　[4] 刘春杰.大数据时代对当代统计学教育的挑战[J].统计与决策，+189. 　　[5] 刘春杰.大数据时代统计学教育面对挑战的应对[J].凯里学院学报，-32.
转载请注明来源。原文地址：
【xzbu】郑重声明：本网站资源、信息来源于网络，完全免费共享，仅供学习和研究使用，版权和著作权归原作者所有，如有不愿意被转载的情况，请通知我们删除已转载的信息。
xzbu发布此信息目的在于传播更多信息，与本网站立场无关。xzbu不保证该信息（包括但不限于文字、数据及图表）准确性、真实性、完整性等。参考文献：
上篇论文： 下篇论文：
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&
[<font color="#FF]
[<font color="#FF]
[<font color="#FF]
[<font color="#FF]
[<font color="#FF]
[<font color="#FF]
[<font color="#FF]
[<font color="#FF]
[<font color="#FF]
[<font color="#FF]
[<font color="#FF]
[<font color="#FF]
[<font color="#FF]
[<font color="#FF]
400-888-7501苹果/安卓/wp
积分 682, 距离下一级还需 118 积分
权限: 自定义头衔, 签名中使用图片
道具: 彩虹炫, 涂鸦板, 雷达卡, 热点灯, 金钱卡, 显身卡, 匿名卡, 抢沙发下一级可获得
权限: 隐身
购买后可立即获得
权限: 隐身
道具: 金钱卡, 彩虹炫, 雷达卡, 热点灯, 涂鸦板
上火签到天数: 79 天连续签到: 1 天[LV.6]常住居民II
大数据时代的悄然到来和计算能力爆炸式增长，让做统计分析的各类人士不禁要重新打量一下自己的技能包，看看是不是很快要被时代浪潮以大浪淘沙的方式清洗掉了。
到底大数据是怎么来的呢？可以用来干什么呢？我们就先拿2012美国总统大选来举个例子看看。比如说我们想预测在日，
问题1: 奥巴马和罗姆尼谁当选美国总统？
我们可以用什么数据来做这个预测呢？最常用的就是民调数据了，通过有选择性的挑选一些可能选民来问他们的倾向。这好像是个传统统计干的事。早在1962年John Tukey就已经开始做了。
问题2: 奥巴马和罗姆尼各自赢得了哪些州？
这也不难回答，我们还是可以用民调数据了，只不过要在每个州都进行抽样调查，在仔细的分析汇总一下。数据量也就比预测全国的结果时用的多几十倍而已。而且如果知道了那些州两人相差太大，一方就没有必要再大肆花钱做广告了 ：）
问题3: 奥巴马和罗姆尼各自赢得了县？
再做更小范围，更详细的抽样调查也许可行，也就是在加上几十到几百的数据量和相应的花费吧，同时为了提高准确性我们或许还需要收集和用到更多的其他辅助数据，比如各地的人口构成，年龄构成。。。但这个问题如果回答的好的话就可以更有效的投放广告到地方市场了。
（这个数据可视化很灿，还有更酷的在这里，by , Professor at Princeton。看，不是统计学家做的吧。）问题4: 奥巴马或罗姆尼赢得某个人的选票的机会？
对这个问题的回答就比较费些劲了，这就牵扯到选战中的精细估计（micro-targeting）了。如果这个估计的可以做的准，对于摇晃选民就可以电话或上门拜访，狂轰滥炸，试图说服了。
那怎么对每个人的投票倾向有个好的估计呢？关于个人很多因素就可以粉墨登场了，比如：党派，年龄，性别，职业，婚姻情况，家庭人数，所开汽车型号，所用手机型号，等等。。。这数据量一下就上去了。再加上这些年随着社交网络的兴起，我们可以在用上个人和其他人的社交关系，朋友活动，发帖转帖等等等。。。一下子数据量级就上去了，也就可以成为大数据了。这些海量数据也让我们有机会回答以前很难想到能够回答的问题。
从这几个关心问题的转变过程中，我们可以看到与问题对应的所需数据收集和分析方法的演化。当我们关心的问题越细节，越多样化，所需要的资源和技术就越多。
问题5: 如果把第4个问题中的“奥巴马或罗姆尼赢得某个人的选票的机会？”改成“某个人在上网时点击某个展示广告的机会”会怎么样呢？
我们这就看到 Google, Baidu等一拥而上，不计成本的计算了，而且所能应用的变量就可能是他们能拿到关于“某人”的所有的线上脚印和线下信息了。
问题问了一圈，这些听起来都很是十足的统计分析啊。本应该是统计分析人士应该是施展才华的时代，那为何还会有要被时代淘汰的论调呢？记得Leo Brieman 在1994年Berkeley 统计系毕业典礼上的讲话中提到的：
要知道何去何从，我们必须清楚自己真正所擅长的是什么。统计的核心是什么？需要我们是一流的数学家吗？几乎不用。那是什么呢？成为收集信息，分析信息，并得出结论的专家！这才是我们真正所擅长的。所以我认为，这正是我们统计学家应有的定位，我们的身份危机才会到解决。
在大数据的时代，我们还有资格说我们是“收集信息，分析信息，并得出结论的专家” 吗？如果我们不具备收集和处理大数据所需要的计算能力和技巧，没有数据分析的直觉和经验，如何能得出有说服力和经得起检验的结论呢？
现在讨论我们是否是一流的数学家好像已经没有很么意义。我们不妨问问自己，比起一流的计算机学家，我们还有何优势能更好的“收集信息，分析信息，并得出结论”？当我们数据收集和处理能力越来越强时，大家关心的问题的范围也越来越广，细节要求越来越高，需要的数据越来越多。这个发展趋势不广在商业，计算机信息领域天天看到，我们在科学研究，医疗制药，政府服务等各个方面的能力和雄心都在爆炸式的增长，由此带来的问题和分析需求也在爆炸。
在这形势下，我们可以考虑一下在这些牵扯大数据的问题中，统计又如何能更有效的帮助别人分析问题，得出结论。我们的曾经的神器，极限定理以及其赖以生存的测度理论，是否还有那么神奇和有用呢？与此同时我们欠缺的是什么工具呢？如果我们做的理论问题的假设与实际问题和数据的统计距离太显著，还有没有必要钻这牛角尖？如果我们不和做实际问题的一起工作，一起了解问题的细节，有怎能帮助他们呢？
从另一个角度看，我想在拥有与计算机专业的同事相差不算远的计算机技能的基础上，统计专科在数据收集方法（试验设计，抽样方法等），模型选择以及模型对outlier和模型假设的敏感度，在数据支持下对可能结论的批判型思维，以及对结论的不确定型描述等方面还是很大优势的。不过这些方面的技能好像还都不是简单的靠读理论统计课本能直接学习到或证明数学定理能解决的，它们都是在解决实际问题和数据分析的过程中通过不断犯错误来提高的。
当然了，“拥有与计算机专业的同事相差不算远的计算机技能的基础上” 是一个很大很大的需要检验的假设，要拥有这样的基础需要从课程选择，课外导向，个人学习规划等方面出发主动的学习。就像 Michael Jordan，在#21世纪的计算大会#上做”大数据的分治和统计推断”的主题演讲中提到的：If you didn’t understand a lot of the talk, it is a bit technical, maybe you should go take some statistics class if you are a computer scientist. If you are a statistician, I don’t know if any of you are here, you probably should take some computer science classes.
The future is for those people who can take these two fields and integrate them into one brain, not having to bring every project to statisticians, trying to have them talking to computer scientists using some translation software. But one brain can bring these ideas jointly together. How do I think about my statistical risk and the errors I’m going to make when data come into a computer and how do I think about stating that so I don’t have to break when I have more than a few hundred thousand data points.当统计学培养出来的学生能得心应手的对（大）数据进行分析时，叫不叫数据科学就无所谓了，因为社会的需求会最终决定一个专业的方向和发展。来自：统计之都End.
总评分:&经验 + 100&
本帖最后由 wujiang814 于
23:50 编辑
http://www.datasoldier.net/post/tjsw.html
大数据观点一经提出，便引起了全球广泛的反响，似乎所有的商业或组织活动都可视为大数据问题。大数据时代的到来，必然对社会经济各个方面产生重大冲击，对与大数据紧密相关的“统计”又会产生什么样的影响呢？统计学是关于数据的科学，即研究如何收集、整理和分析数据的科学。数据是依据，是灵魂，是统计方法生命力的根源所在，大数据时代的统计首先要适应三个重大的思维转变。
爱数据、爱统计、爱SPSS、也有点爱R。
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
&nbsp&nbsp|
如有投资本站或合作意向，请联系（010-）；
邮箱：service@pinggu.org
投诉或不良信息处理：（010-）
论坛法律顾问：王进律师}