阿里云“数加平台”发声DT时代，打开大数据脑洞
查看: 2086|
摘要: 阿里云 大数据 数加
“2016年将成为真正意义上的大数据元年。”阿里云大数据事业部资深总监徐常亮表示，“这是一个人人都在谈论大数据的年代，但极少人正在使用，2016年情况将发生改变。”徐常亮讲到“大数据元年”是在阿里云2016云栖大会上海峰会上。1月20日，阿里云在2016云栖大会上海峰会上宣布开放阿里巴巴十年的大数据能力，发布全球首个一站式大数据平台“数加”。这一平台承载了阿里云“普惠大数据”的理想，即让全球任何一个企业、个人都能用上大数据。首批亮相的将有20款产品。在输出自身大数据能力的同时，“数加”还向有数据开发能力的团队开放。这些团队可入驻“数加”，借助数加上的工具为各行各业提供数据服务。“这就像在淘宝开店一样，只是他们售卖的是专业能力。”徐常亮表示，阿里云计划用3年时间吸引1000家合作伙伴入驻，共同分享1万亿的大数据蛋糕。输出阿里巴巴沉淀10年的数据能力据IDC出版的数字世界研究报告显示，2013年人类产生、复制和消费的数据量达到4.4ZB。而到2020年，数据量将增长10倍，达到44ZB。大数据已经成为当下人类最宝贵的财富。但全球真正享受大数据红利的公司不足千分之一，人类已挖掘的数据财富更是不到百万分之一。在过去的5年里，全球大数据计算性能实现了超过20倍的增长，100TB数据排序时间由8274秒缩短到377秒。“束缚大数据的技术瓶颈已经被完全打破，数据将从企业的成本中心转变为价值中心，2016年我们将迎来大数据应用的全面落地。”徐常亮说，通过数加平台，我们希望所有企业都能像阿里巴巴一样更高效的使用大数据。借助大数据技术，阿里巴巴取得了巨大的商业成功。通过对电子商务平台上的客户行为进行分析，诞生了蚂蚁小贷、花呗、借呗；菜鸟网络通过电子面单、物流云、菜鸟天地等数据产品，为快递行业的升级提供技术方法。在这些创新中，“数加”承载了阿里巴巴EB级别的数据加工计算，经历了上万名工程师的实战检验。大麦网是阿里云“数加”平台的尝鲜者。通过采用“数加”的推荐引擎，大麦网的研发成本从900人天降低到了30人天，效率提升了30倍。首批集中发布20款产品此次，“数加”平台首批集中发布了20款产品，覆盖数据采集、计算引擎、数据加工、数据分析、机器学习、数据应用等数据生产全链条。“这些技术至少领先业界三年”，徐常亮说。大数据计算服务(MaxCompute)、分析型数据库（Analytic DB）、流计算（StreamCompute）共同组成了底层强大的计算引擎，速度更快，成本更低。经测算，自建Hadoop集群的成本是数加的1.5倍，国外计算厂商AWS 的EMR成本更是数加的5倍。计算引擎之上，“数加”提供了最丰富的云端数据开发套件，包括数据集成、数据开发、调度系统、数据管理、运维视屏、数据质量、任务监控。在数据分析方面，通过移动数据分析（Mobile Analytics）产品，开发者可快速搭建日志采集、分析系统；通过数加BI报表产品，3分钟即可完成海量数据的分析报告；通过数据可视化产品DataV，一星期就能做出双11同款大屏。同时，基于DataV，数加还发布了面向政府的行业应用产品“郡县图治”。通过这款产品，县长可以在一个屏幕下统览全县各项经济民生数据，为政府决策提供辅助。对于时下大热的机器学习，数加更是提供了全面支持。“数加”发布的机器学习工具，可基于海量数据实现对用户行为、行业走势、天气、交通等的预测。图形化编程让用户无需编码、只需用鼠标拖拽标准化组件即可完成开发。产品还集成了阿里巴巴核心算法库，包括特征工程、大规模机器学习、深度学习等。为了能够帮助开发者更快捷在应用中集成大数据功能，“数加”同时提供了规则引擎、推荐引擎、文字识别、智能语音交互等数据应用产品。
上一篇：下一篇：
Powered by马云阿里云栖大会勉励创业者：DT时代 别老想着打倒BAT
“有人说有BAT（百度、阿里巴巴、腾讯）这三座大山在，我们怎么有机会？我告诉大家，不把地主斗死，农民也会富起来。BAT依旧会发展，但你们是有机会赢的。”10月14日，阿里云2015云栖大会召开，阿里巴巴董事局主席马云在会上勉励创业者，不要眼中只有BAT，新技术带来的市场空间足够大。该大会吸引了约2万名开发者从全球赶来参加。
阿里云及其合作伙伴在大会上发布了一系列新的云计算技术，200多家云上企业展示了量子计算、人工智能等前沿科技。“未来三十年才是创业的巨大机会”“DT（数据处理技术）时代最了不起的是利他思想，因为只有你相信别人比你更强大。”马云说，在DT时代，计算能力将会成为一种生产能力，而数据将会成为最大的生产资料，会成为像水、像电、像石油一样的公共资源。“这几年在网上看到最多的就是BAT把中国所有创新、创意、创业的大的机会拿走了，让我想起20年以前，我怪比尔·盖茨、怪IBM，认为他们把我们的机会拿走了，但事实上20年来，有无数的创业（成功了）。”马云认为，“技术变革让创业者有机会走出与BAT不同的路，今天的创业环境，今天创业的所有的基础设施，整个融资状态要比十五年以前好很多。包括今天在座每个人的素质，创业的能力也是我们那时候不敢想象的。”他指出，“从现在往前推的20年，是互联网技术突飞猛进发展的20年，未来30年是互联网技术如何融入社会方方面面的30年，这30年才真正是创业的巨大机会。”
5川企参会阿里云布局四川之前阿里方面透露，此次云栖大会，有4家四川创业企业受邀参加，分别是成都索贝数码科技股份有限公司、成都简乐互动科技有限公司、成都快发助手科技有限公司、成都运力科技有限公司。他们有一个相同点：将云计算作为创新的驱动力。昨天华西都市报记者还看到另一家四川创业企业在现场摆展，与英特尔等大企业同台，该公司名为四川群蜂网络科技，其首席市场官李炜告诉记者，最后几天决定买下一个展位，虽然价格不菲，对创业企业是一笔不小的开销，但机会难得。“这是技术界顶尖盛会，不仅能帮我们打响业内知名度，还能加深同行沟通，开阔眼界。”
据他介绍，公司从事商用企业级WIFI，会用到阿里云提供的大数据分析能力，帮助商家实现精准营销。之前阿里云于7月30日在成都召开云栖大会成都峰会，是继北京峰会的第二站，显示出阿里对成都创业者的高度重视。阿里云生态合作总监刘松表示，会在四川招募20家，整个西南地区约三四十家云服务商，阿里云将联合合作伙伴一起，帮助成都的政府及金融、媒体、医疗等细分行业的企业更快更好地迈向“互联网＋”。华西都市报记者罗提
[责任编辑:阿里云课堂第一期：DT时代的RDS、ODPS和LVS
发表于 09:00|
摘要：日，CSDN将携手阿里云走进阿里云课堂，带你发现云计算之美第一期——DT时代，五年沉淀下的技术盛宴。阿里云余锋、王鹏飞、吴佳明将从实战角度出发，带你了解基于云的项目开发。
从5年飞天研发，到5000节点扩展，历经数年发展，基于飞天的阿里云已成为众多项目的基石，在移动、金融、游戏、电商、音视频等多个领域投入应用，助力大掌门、趣拍、余额宝等众多项目取得成功。时至今日，稳定、安全、易用、低成本等云所具备的特性已在阿里云上一一呈现。
虽几经周折，但是在五年的商业实践中，阿里云依靠一步步踏实的脚步建立起了一套丰富完善的云计算产品体系，沉淀了丰富的技术盛宴，包含了大量的实战开发经验。而本次，CSDN将携手阿里云在全国12个城市开展阿里云技术公开课，帮助大家更深入的了解编程开发、数据中心运维、海量数据处理、深度学习、移动开发等当下最热的技术。
首期公开课将于日在北京丽亭华苑酒店金辉厅举行，CSDN邀请了阿里云技术总监/研发总监余锋（褚霸）、阿里云技术总监/研发总监吴佳明（普空）、阿里巴巴开发组长/高级工程师/技术专家王鹏飞（乌列）三位演讲嘉宾，分别就RDS数据通道的挑战和实践、离线分布式关系型计算在阿里的发展历程、LVS在大规模网络环境中的应用等方面做精彩分享。免费参与猛戳。
会议议程：&&
13:00—13:30
13:30—14:30
RDS数据通道的挑战和实践
余锋（褚霸）
14:45—15:45
离线分布式关系型计算在阿里的发展历程
王鹏飞（乌列）
16:00—17:00
LVS在大规模网络环境中的应用
吴佳明（普空）
下面让我们一起来提前认识一下各位演讲嘉宾以及他们要分享的内容。
RDS（Relational Database Service）
RDS是阿里云提供的关系型数据库服务，支持MySQL和MS SQL Server两种关系型数据库，主要是通过云服务的方式让关系型数据库的设置、操作和扩展变得更加简单。它是采用按需付费的方式，无需托管费用，也不需要运维，有效的节约了硬件和软件成本；同时具备部署扩容、备份恢复、弹性升级、安全设置、在线迁移等多种特性。RDS在阿里云实际的发展中，也经历着巨大的挑战，从最初的仅支持MySQL到后来增加的支持MS SQL Server的服务，从最开始用户使用中的权限、安全等问题的一一攻破，都包含着阿里人艰辛的付出。阿里云的技术总监/研发总监余锋将会结合自身的实践为我们揭开这个过程。
余锋 （花名：褚霸）——阿里云技术总监/研发总监
主题：RDS数据通道的挑战和实践
嘉宾介绍：阿里巴巴核心系统技术专家，有超过15年的网络和底层系统开发经验，专注于高性能分布式服务器的研究和实现, 擅长构建大规模集群存储服务器。日，阿里巴巴宣布推淘宝等七大事业群，被马云称作“七剑”，组成集团CBBS大市场。研发部门也由零散状态变得集中起来，余锋就在其中负责RDS数据库的资深专家。
离线分布式关系型计算
分布式关系型计算ODPS是基于飞天分布式平台、由阿里云自主研发的海量数据离线处理服务，以RESTful API的形式提供针对PB级别数据的、实时性要求不高的批量结构化数据存储和计算能力，主要应用于数据分析与统计、数据挖掘、商业智能等领域。OPPS对内统一，是阿里集团唯一的大数据处理平台；对外拓展，主攻结构化数据和半结构化数据，未来能支持更多框架。其中它的产品优势主要体现为：海量运算、服务“开箱即用”、数据存储安全可靠、多用户协作、按量付费等。
正如阿里巴巴王鹏飞(花名乌列)所说分布式计算是从来都是工程问题，不是理论问题；架构设计要像老毛子一样，简单、清晰、标准、经得起时间、实践检验；细节上要像老美一样，把握精准、实现精细，代表了同类实现的“最高科技”。ODPS就是在这样的严格要求下产生，它经历了时间、实践的考验，作为阿里云5年巅峰之作，于日正式发布。此次阿里云课堂，王鹏飞将会真诚讲述离线分布式关系型计算在阿里的发展历程敬请期待。
王鹏飞（花名：乌列）——阿里巴巴开发组长/高级工程师/技术专家
主题：离线分布式关系型计算在阿里的发展历程
嘉宾介绍：从2009年加入阿里巴巴就开始分布式数据仓库的研发，一直战斗在Planner、执行引擎、存储引擎的设计、实现第一线，撞墙踩坑无数，积累了丰富的第一手经验。目前工作主要集中在ODPS下一版的查询计划生成器上。
LVS由章文嵩博士于1998年创立的，是内核标准组件、以内核模块的形式放在内核源码树net/netfilter/ipvs路径下。阿里根据业务需求，定制了自己的高性能LVS，逐步在进化与发展中，目前已发展成四层统一接入平台。
LVS具有可拓展、攻击防御和跨VLAN等基本特点。
LVS在阿里实践中遇到了很多不足之处：如LVS各转发模式运维成本高、缺少攻击防御模块、性能无法线性扩展。通过实现FULLNAT、SYNPROXY、Cluster等模式的发展将LVS使用中的不足得到了一一解决。阿里云技术总监/研发总监吴佳明向您倾情讲述LVS在大规模网络环境中的应用。
吴佳明（花名：普空）——阿里云技术总监/研发总监
主题：LVS在大规模网络环境中的应用
嘉宾介绍：阿里巴巴核心系统研发高级技术专家，一直从事系统网络相关技术研发，包括
IDC网络、内核TCP/IP协议、4/7层负载均衡、CDN、DDOS攻击防御等；1.5 就职于百度，资深系统工程师，完成百度网络4层统一接入和接出；2011.5~至今就职于淘宝，技术专家，从事 LVS 等网络技术研发。
第一期阿里云课堂：带你发现云计算之美将要拉开帷幕了，想了解更多关于阿里云的技术发展吗？有没有兴趣倾听阿里云技术大牛的技术实践经历？不要在犹豫了，第一期主题：DT时代，五年沉淀下的技术盛宴真诚欢迎您的参与。
报名地址：
免费订阅“CSDN云计算（左）和CSDN大数据（右）”微信公众号，实时掌握第一手云中消息，了解最新的大数据进展！
CSDN发布虚拟化、Docker、OpenStack、CloudStack、数据中心等相关云计算资讯， & & 分享Hadoop、Spark、NoSQL/NewSQL、HBase、Impala、内存计算、流计算、机器学习和智能算法等相关大数据观点，提供云计算和大数据技术、平台、实践和产业信息等服务。
推荐阅读相关主题：
CSDN官方微信
扫描二维码,向CSDN吐槽
微信号：CSDNnews
相关热门文章新浪广告共享计划>
广告共享计划
马云：“互联网+”，已从IT时代到DT时代——阿里研究院《互联网+：从IT到DT》(完整版).pdf&下载
马云：“互联网+”，已从IT时代到DT时代
书名:互联网+：从IT到DT&
原价：59元&
作者:阿里研究院　著&
出版社：机械工业出版社&
出版日期：&
页码：285&
装帧：平装&
开本：16开&
阿里研究院《互联网+：从IT到DT》(完整版).pdf 下载
==============================================&
马云：“互联网+”，已从IT时代到DT时代
（本文为阿里研究院《互联网+：从IT到DT》书序）
　　阿里巴巴有一个“农村淘宝服务站”团队，专帮农民朋友“触网”。他们发来的“战报”是这样的：
　　浙江桐庐，张大伯打算开个“农家乐”，他上网买了6张床、6个空调、6个电视，还定制了厨房用的不锈钢架子。贵州铜仁谜路村，杨大叔打算做土石方运输生意，在阿里巴巴平台采购2辆重型卡车。浙江昌化镇白牛村，村民在淘宝购入6700个山核桃钳子——当地不少农民身为淘宝卖家，购买核桃钳子搭配自家的“山核桃套餐”在网上销售……
　　这些故事让我感觉特别踏实。
　　过去20年，互联网产业做得非常成功，但我发现很少有互联网公司能健康地、平静地活过3年。问题在哪里？缺了什么？
　　无论你是否喜欢，过去20年互联网都对人类社会产生了巨大的影响。而许多传统企业讨厌互联网，因为互联网毁掉了他们的生意。与此同时，那些成功的互联网公司如Google、Facebook、Amazon、eBay和阿里巴巴，我们所有的人天天都在担心。
　　如果一个行业中的公司常常不能活着超过3年，那这个行业永远无法成为主流，永远不可能深深根植于社会经济。我们要做什么才能找到解决方案，让公司能够活得长久而健康？
　　今年3月份我在德国曾有一个演讲。我认为，互联网必须找到那个缺失的部分。这个缺失的部分就是鼠标和土地、水泥携手合作，找到一个方法让互联网经济和实体经济能够结合。只有“互联网+”，互联网公司才能活下来，才能开心地活30年。
　　世界正在快速改变，很多人还不知道IT是什么，今天IT已经在向DT（数字科技）时代快速跨越。IT科技和数字科技，这不仅仅是不同的技术，而是人们思考方式的不同，人们对待这个世界方式的不同。
　　IT时代是方便自己控制和管理，“信息”是一种权力。而DT时代是利他、激活大众活力为主，DT是一个数据更充分流动的时代，会更加透明、利他，更注重责任和体验。
　　我们设想，在未来，经济将不再由石油驱动，而由数据驱动；商业模式将是C2B（Customer to
Business）而不是B2C；机器不仅会生产产品，还会说话、思考，还会自我完善；企业将不再关注规模，不再关注标准化和权力，而会关注灵活性、敏捷性、个性化和用户友好；企业与企业、国家与国家之间不会那么注重对抗，而会在竞争的同时增加合作，并重视对整个社会的关怀和责任。
　　如果说第一次和第二次技术革命释放了人的“体力”，那这次技术革命释放了人的“脑力”：梦想、激情、想象力、科技信仰、创新冲动……
　　我一直认为，不是每一次工业或技术革命改变了世界，是技术背后的梦想改变了世界；不是单个的梦想推动世界改变，而是一群人、无数人的梦想，以及背后一整套的技术基础、制度安排推动世界改变。
　　我相信，中国在线的6.5亿人口和尚未在线的另一个6.5亿人口，不仅是全球最蔚为可观的消费市场、最灵活的智能化制造基地、也是“互联网+”创业创新最活跃的试验场。这些力量不仅会渗入中国的农村，渗入所有人的思想意识，也将同步促进知识、资源、制造、服务在全球价值链上的整合——这是“互联网+”，这是与数字化同步进行的全球化。
　　这是一个精彩的世界，这是一个属于年轻人的世界，这是一个属于未来的世界。
已投稿到：
以上网友发言只代表其个人观点，不代表新浪网的观点或立场。}