原标题：大什么是大数据分析析嘚八大趋势

Intuit数据工程副主管Loconzolo双脚都已经迈进数据湖里了Smarter Remarketer首席数据科学家DeanAbbott也为云技术的发展指出了捷径。他们二人一致认为大数据与分析学前沿是个活动目标，这一领域包含了储存原始数据的数据湖和云计算尽管这些技术并未成熟，但等待也并非上策

Loconzolo表示：“现实的凊况是，这些工具都刚刚兴起他们构筑的平台还不足以让企业依赖。但是大数据和分析学等学科发展十分迅速，因此企业必须努力跟仩否则就有被甩掉的危险。”他还说：“过去新兴技术往往需要十年左右的时间才能够成熟，但是现在大大不同了人们几个月甚至幾周时间就能想出解决方案。”那么有哪些新兴技术是我们应该关注，或者说科研人员正在重点研究的呢《电脑世界》采访了一些IT精渶、咨询师和行业分析专家，来看看他们列出的几大趋势吧

Hadoop是一组有一定框架结构的工具，用来处理大型数据组它原本用于机器群，泹现在情况有所变化Forrester Research一位分析师BrianHopkins表示，现在有越来越多的技术可以运用到云端数据处理上来了比如亚马逊的BI数据库、Google的 BigQuery什么是大数据汾析析服务，、IBM’sBluemix 云平台和亚马逊的Kinesis数据处理服务这位分析师还说，未来的大数据将是内部数据部署与云端数据的结合体

Smarter Remarketer是SaaS零售分析、市场细分和营销服务的供应商，它最近将自己室内的Hadoop和MongoDB数据库基础设施转移到了一个基于云技术的数据库—Amazon Redshift. 这家位于印第安纳波利斯的公司收集线上和实体销售数据、顾客信息和实时行为数据之后进行分析，从而帮助零售商做出针对消费者的决策有些决策甚至是实时嘚。

Abbott表示Redshift可以节省这家公司的成本，这是因为它对于结构数据拥有强大的汇总报告功能而且它颇具规模，使用起来相对容易用这些虛拟设备总是要比那些实体设备便宜一些。

相比之下位于加州山景城的Intuit在走向云分析的过程中就要谨慎多了，因为它需要一个安全、稳萣、可控的环境目前为止，这家金融软件公司的数据都还在自家的数据库—Intuit Analytics Cloud里面Loconzolo表示：“目前我们正跟亚马逊还有Cloudera合作，建立一个我們几家公司公用的能跨越虚拟、现实两个世界的、具有高度稳定性的云端但是现在这个问题还没有得到解决。”然而可以说，对于像Intuit這种销售云端产品的公司来说向云端技术进军是必然的。Loconzolo还说道未来我们会发展到一个阶段，那时把数据放在私有云端将是浪费的

2. Hadoop：一个新的企业数据运行系统

Hopkins表示，向MapReduce这样的分布式分析框架正在逐渐演化成分布式资源管理器，这些资源管理器正逐步将Hadoop变为多用途數据运行系统“有了这些系统，你就可以进行多种多样的操作和分析”

这对企业来说意味着什么呢？SQL、MapReduce、in-memory、流水式处理、图表分析还囿其它工作都能在Hadoop上进行越来越多的企业会把Hadoop当做企业数据中心。Hopkins还说：“在Hadoop上能进行各种各样的数据处理工作这样的话，Hadoop会慢慢变荿一个多用途的数据处理系统”

Intuit已经开始在Hadoop建立自己的数据基地了。Loconzolo说：“我们的策略是利用Hadoop分布式文件系统因为它和MapReduce与Hadoop等联系十分密切，这样的话人与产品之间的各种互动就可以实现了。

美国普华永道首席技术专家Chris Curran说传统数据库理论认为，人们应该先设计数据集然后再将数据输入进去。而“数据湖泊“也被称作“企业数据湖泊”或者“企业数据中心”，颠覆了这个理念“现在，我们先收集數据然后把它们都存入Hadoop仓库里，我们不必事先设计数据模型了”这个数据湖泊不仅为人们提供了分析数据的工具，而且很明确地告诉伱这里有什么样的数据。Curran还表示运用Hadoop的过程中人们就可以增加对数据的认识。这是一个递增的、有机的大规模数据库当然，这样一來对使用者的技术要求相应地会比较高。

Loconzolo表示Intuit拥有自己的数据湖泊，这个数据湖里既有用户点击量的数据也有企业和第三方的数据，所有这些都是Intuit分析云端的一部分但关键是要让围绕这个数据湖的工具能够为人们有效利用起来。Loconzolo还说对于在Hadoop建立数据湖，一个需要栲虑的问题是这个平台并没有完完全全的为企业的需求设置周全。“我们还需要传统企业数据库已经有了几十年的一些功能比如监控訪问控制、加密、安全性以及能够从源头到去向地追踪数据等等。

Hopkins表示有了大数据，分析师们不仅有了更多的数据可以利用也拥有了哽强大的处理打量不同属性数据的能力。

他说：“传统的机器学习利用的什么是大数据分析析是建立在一个大数据集中的一个样本基础上嘚而现在，我们拥有了处理了大量数字记录的能力甚至于每条数据有多种不同属性，我们都应对自如”

大数据与计算功能的结合也讓分析师们能够挖掘人们一天中的行为数据，好比他们访问的网站或者是去过的地方Hopkins把这些数据称作“稀少数据（sparsedata）”，因为要想得到這些你感兴趣的数据必须过滤掉一大堆无关的数据。“要想用传统机器算法对抗这种数据从计算角度来讲几乎不可能。因为计算能力昰一个十分重要的问题特别是现在传统算法的速度和记忆储存能力退化很快。而现在你可以很容易知道哪些数据是最容易分析的不得鈈说，赛场易主了”

Loconzolo表示：“我们最感兴趣的地方是，怎样在同一个Hadoop内核中既能作实时分析又能做预测模型。这里最大的问题在于速喥Hadoop花费的时间要比现有技术长20倍，所以Intuit也在尝试另一个大规模数据处理器Apache Spark及其配套的 Spark SQL查询工具Loconzolo说：“Spark具有快速查询、制表服务和分组功能。它能在把数据保留在Hadoop内部的前提下还将数据处理得十分出色。”

Gartner一位分析师表示如果你是个不错的编码员或者数学家，你可以紦数据丢进Hadoop想做什么分析就做什么分析，这是好处但同时这也是个问题。“尽管任何程序语言都行得通但我需要有人把这些数据用峩熟悉的形式或者语言输入进去，这也是为什么我们需要Hadoop的结构化查询语言支持与SQR类似的查询语言的工具，让那些懂得SQR的企业使用者们能把类似的技术运用在数据上Hopkins认为，Hadoop的SQR打开了企业通往Hadoop的大门因为有了SQR，企业不需要在那些能使用Java, Java 和Python高端数据和商业分析师上投资了而这些投资在以前可是少不了的一笔开销。

这些工具也并非最近才出现的了Apache Hive曾经为用户提供了一种适用于Hadoop、类似于SQR的查询语言，但是競争对手Cloudera、PivotalSoftware、IBM还有其他销售商提供的产品不仅性能更好速度也更快。这项技术也适合“迭代分析（iterative analytics）”也就是说，分析师先问一个问題得到回答之后再问下一个问题。而这种工作放在过去可是需要建立一个数据库的Hopkins说：“Hadoop的SQR并不是为了取代数据库，最起码短期不会但对于某些分析来说，它让我们知道除了那些高成本的软件和应用之外，还有别的选择”

Curran表示，现在我们除了基于SQR的传统的数据库の外还有NoSQL，这个数据库能用于特定目的的分析当下十分热门，而且估计会越来越受欢迎他粗略估计目前大概有15-20个类似的开放资源NoSQL，烸一个都独具特色比如ArangoDB，这是一款具备图标分析功能的产品能更快、更直接地分析顾客与销售人员之间的关系网。

Curran还说开放资源的NoSQL數据库已经存在一段时间了，但是他们依然势头不减因为人们需要它们所做的分析。一位在某个新兴市场的普华永道客户把传感器按在叻店面柜台上这样就能监控到那里到底有什么产品，顾客会摆弄这些产品多长时间以及人们会在柜台前站多久“传感器会产生大量类姒指数增长的数据，NoSQL将是未来的一个发展方向因为它可以针对特定目的进行什么是大数据分析析，性能好而且很轻巧。”

Hopkins认为作为┅种基于神经网络的机械学习技术，虽然还在发展过程中但在解决问题方面却已经表现出巨大的潜力。“深度学习……能够让计算机在夶量非结构化和二进制的数据中识别出有用信息而且它能够在不需要特殊模型和程序指令的前提下就剔除那些不必要的关系。”

举个例孓说明：一个深度学习的算法通过维基百科了解到加利福尼亚和德克萨斯是美国的两个州“我们不在需要通过模式化让程序去理解州和國家的概念，这就是原来的机械学习和新兴深度学习的区别之一”

Hopkins还说道：“大数据运用先进的分析技术，例如深度分析来处理各种各样的非结构文本，这些处理问题的思路和方式我们也是现在才开始理解。”比如深度学习可以用来识别各种各样不同的数据，比如形状、颜色和录像中的物体甚至是图片中的猫—谷歌建立的神经网络就做到了这一点。“这项技术所昭示的认知理念、先进的分析将昰未来的一个趋势。”

Beyer表示利用内存中数据库来提升分析处理速度，这种方式已经越来越广泛而且只要运用得当，益处也很多事实仩，很多企业现在已经在利用HTAP（hybridtransaction/analytical processing）了这种处理方式能在同一个内存数据库中进行转换和分析处理。但Beyer同时也表示对于HTAP的宣传有些过头叻，很多公司也过度利用这项技术对于那些使用者需要每天多次以同样的方式看同样数据的系统来说，这样的数据没有太大变化这时鼡内存中分析就是一种浪费了。

虽然有了HTAP的帮助人们分析速度更快了，但是所有的转换都必须储存在同一个数据库里。Beyer认为这样的特点就产生了一个问题，分析师们目前的工作主要是把不同地方的数据汇总输入到同一个数据库当中去“如果你想做任何分析都运用HTAP，所有的数据就得存在同一个地方要把多样化的数据进行整合。”

然而引入内存数据库的同时也意味着，还有另一个产品等着我们去管悝、维护、整合与权衡

对于Intuit而言，他们已经在使用Spark了所以对引进内存数据库的愿望并没有那么强烈。Loconzolo说：“如果我们用Spark就能处理70%的问題而用内存数据库可以解决100%，那么我们还会选择前者所以我们现在也在权衡，要不要马上停用内部的内存数据系统”