初探大数据技术在金融行业的应用_百度文库
两大类热门资源免费畅读
续费一年阅读会员，立省24元！
初探大数据技术在金融行业的应用
上传于||暂无简介
阅读已结束，如果下载本文需要使用1下载券
想免费下载本文？
你可能喜欢2012金融业“大数据”发展的十大趋势
　作者: 李伟　编辑:
　　【IT168信息化】近日，IT168记者了解到全球领先的软件和技术服务企业SunGard了解到，SunGard发布了2012年金融服务业各部门&大数据&发展的十大趋势，分别是：　　第一、市场数据集变得越来越庞大，业务对数据的细分粒度要求越来越高，以满足预测模型、业务预测和交易影响评估的需求。　　第二、新的监管和合规要求更强调治理和风险汇报，推动了全球性金融机构对更深入和透明的数据分析需求。　　第三、金融机构不断完善自身的企业风险管理框架，该基于主数据管理策略开发的框架可协助企业提高风险透明度，加强风险的可审性和管理力度。　　第四、金融服务公司都希望能充分利用各种服务交付渠道(如分公司、网络、移动通信等)的海量客户数据，开发新的预测分析模型，实现对客户消费行为模式进行分析，提高客户转化率。　　第五、在巴西、中国和印度等后发展中市场，经济和业务增长机会正在超越欧洲和美国，大量投资被投放到本地和云数据处理基础设施中。　　第六、&大数据&在存储和处理框架两方面的优势将帮助金融服务企业充分掌握业务数据的价值，降低业务成本并发掘新的套利机会。　　第七、面对&大数据&所带来的不断增加的数据量要求，需要对传统的数据传输工具ETL(提取、转换和加载)流程进行重新设计。　　第八、大量历史客户支付行为数据的信用风险预测模型正在零售与公司贷款催收中得到大量应用，通过该技术，银行可以通过对不同客户违约和还款资料进行分析，对催收次序进行优化。　　第九、随着以平板电脑和和智能手机为代表的移动应用和互联网工具的迅速普及，技术基础设施和网络在对不同来源、不同标准数据进行处理、编索和整合方面的压力不断增大。　　第十、&大数据&推动了对数据处理算法的需求，提出对数据安全和访问控制的重视，并可有效降低对现有系统的影响。　　研究部主任和环球风险和大数据行业领导人Michael Versace指出：&大数据是推动企业数据分析投资的一个重要驱动力，优秀的数据分析能力恰恰是当今金融市场最需要的创新关键所在。&客户关系定价、资本管理、公司财务表现、交易执行、安全和反欺诈等管理所需的业务分析是完善决策制定的核心基础。在目前动荡的金融环境中，是否拥有有效大数据及相关先进模型能力，对不同渠道和业务进行实时和历史分析与决策，将成为成功和失败企业的分水岭。
大学生分期购物销量榜
已有条评论
IT168企业级
正在努力加载文档，请稍等…股票/基金&
2013中国金融业大数据应用发展趋势座谈会召开
　　近年来，我国金融业持续深化市场化改革，产品创新步伐不断加快。随着客户信息和市场信息获取渠道的日益多元化，如何通过对结构化数据、半结构化数据和非结构化数据的整合分析，洞察、把握及有效选择客户，成为金融业面临的共同课题。大数据技术的产生，适逢其时。
　　10月17日，由《金融电子化》杂志社主办的“金融业大数据应用发展趋势座谈会”在北京召开。
　　中国人民银行中国金融电子化公司党委书记、总经理陈波在发言中指出，数据作为金融机构的核心资源已经形成共识，未来金融机构的核心竞争力将很大程度上依赖于将大数据转化为信息和知识的速度与能力，而这种转化速度和能力，取决于大数据的分析、挖掘和应用水平。随着移动支付、等新兴金融业态不断涌现，以“用户为中心”、强化用户体验的服务模式将成为未来金融业的重要发展方向。大数据技术可多维度掌握客户及业务的有效信息，全面综合分析出客户的资产负债、支付情况、流动性状态及客户行为，有助于金融机构开展产品创新和精准营销，实现数据资产向战略资产和市场竞争力的转化。同时，通过整合金融机构内部数据、社交媒体数据和外部公共数据，大数据还可提供信贷征信、反洗钱、反欺诈、金融环境变化等风险评估和预警信息，降低信息不对称带来的各种金融风险，营造更加安全、高效的经营环境。
　　国家信息化专家咨询委员会委员陈静指出，作为IT产业的重大技术变革，“大数据技术无论是对国家治理、社会发展，还是企业的组织管理、决策，都将产生巨大而深远的影响”。陈静委员系统介绍了大数据技术的主要特性，以及目前在国内外的医疗、交通、互联网等行业的初步应用情况。并提出国内金融业应从改变数据理念、加强数据整合、变革数据处理架构、完善运维体系、建设专业化技术队伍等五个方面，规划和部署大数据技术应用体系。
　　(,)信息副总工程师孙中东比较了传统数据处理方式与大数据处理方式，以及流处理技术在大数据分析中的重要性。同时他强调，分散在银行网络与IT系统中的海量信息是构建分析竞争型企业的基础，结合传统客户信息和社交属性的客户行为信息形成的客户全景视图，在洞察市场变化、客户信用评价等方面，具有重要作用。
　　座谈会上，来自中国(,)、(,)、中国(,)、正德人寿（）公司、百度公司、北京大学金融信息化研究中心，以及IBM、曙光集团、NETTAPP等业内外专家，围绕“大数据的行业战略与企业战略”、“金融业大数据应用实施的困难与问题”、“洞察客户需求，做强细分市场”等话题进行了观点交流。来自国内90余位专业人士出席了本次座谈会。
09/25 11:3710/15 14:54
暂无专家推荐本文
同时转发到我的微博
将自动提交到和讯看点，
请输入您的观点并提交。
请输入您的观点 168字以内
同时转发到我的微博置顶我的观点
互联网金融精品推荐
每日要闻推荐
社区精华推荐
精彩专题图鉴
　　【独家稿件声明】凡注明“和讯”来源之作品（文字、图片、图表），未经和讯网授权，任何媒体和个人不得全部或者部分转载。如需转载，请与010-联系；经许可后转载务必请注明出处，并添加源链接，违者本网将依法追究责任。您在这里 &/&&/&&/&&/&吴晓灵：大数据时代的数据应用与金融业的发展
12月16日，在第二届世界互联网大会“互联网+”论坛上，多位嘉宾就“互联网金融创新与发展”议题展开讨论。全国人大常委会财经委员会副主任委员、清华大学五道口金融学院院长吴晓灵在主旨演讲中就数据应用与金融业发展发表了自己的看法。
吴晓灵：大家下午好！今天上午聆听了习近平主席对于互联网发展的重要讲话。他的讲话将成为我们实现“互联互通·共享共治，构建网络空间命运共同体”的指导思想，我也想借此机会来谈一谈在互联网发展中，大数据时代的数据应用与金融业的发展问题。
在大数据时代，企业和个人更多的行为可记录、被记录，可分析、被分析，各国都普遍重视大数据运用，并作为国家的战略。数据资源正和土地、劳动力、资本等生产要素一样，成为促进经济增长和社会发展的基本要素。但是我们大家都知道数据能够带来价值，它也是一种资产，明晰数据所有权，推动数据整合是我们有效利用非常重要的一个前提，也是建立数据流通规则和秩序的前提条件。数据所有权的原则是什么？就是谁的数据归谁所有，没有任何主体指向的数据是公共资源。
对于一个个体来说，包括自然人和法人，他本身的特征、财产、行为等方面的数据是个体所有的。数据所有权的内涵是什么？就是拥有对相关数据的支配、处置和获益等财产的权力。这些权力也具体的表现为：同意权、知情权、异议权、纠错权和司法救济权。
我们要有效利用大数据促进金融服务降低成本，提升效率。一是要加快公共数据的开放力度，降低社会运行成本。什么是公共数据？公共数据主要是指政府在行政执法过程中产生的信息，比如行政许可、法院诉讼等这些活动所带来的信息。由于这些信息是因为政府和法律的强制力产生的，对于企业和个人的生产、经营、履约有一定的影响，也涉及到公众和他人的利益。因此，应该加大公开的力度，只有加大了公共信息的公开力度，才能够减少社会搜寻信息的成本。
二是要充分利用数据公共资源，挖掘有用信息，降低社会的信息收集成本。什么是数据公共资源？无主体指向的数据是公共资源，除非涉及社会稳定和国家安全问题，这类数据应当向社会公众开放。这类数据的持有机构应当负责加工处理，并向社会提供这类数据，而且还可以据此来收费。像这类数据的对外开放是要进行脱敏处理的，就是要把信息的具体个人或者是企业的名称隐藏掉，然后把所有的无主信息进行分析，描述成一种图景，或者是一些报告，来向社会公布。比如说，我们现在很多的金融机构，他有一些信贷的信息，那么他不可以说某一个人在某个机构做了什么贷款，但是他可以通过这个贷款信息来描述一下社会资金的运作方向，哪些地区是资金的提供者，哪些地区的需求者比较多一些。还有比如商品和物流的图，金融生态的图等等。
三是以独立第三方发展社会征信事业。金融机构内部信用评级与社会第三方征信是两件相互关联，但又相互独立的事情。一个有信用活动的机构，他对他客户的评级是他内部的评级，但是如果是一个向社会其他的人提供征信信息，那么他就应该更多保持与信用发放机构的距离，这样能够更客观一些。经客户授权，金融机构和征信服务机构可以查询与客户经济活动有关的个人信息，但是这些应该经过客户的授权。有信用活动的主体，当他控制了一个征信主体的时候，容易形成信息孤岛，或者是侵犯个人隐私出售信息，应该由更社会化的有公信力的机构开展征信活动。这里讲的是有信息源又从事信用活动的机构从事征信活动他如果想把信息自己进行加工，这个时候会形成很多孤岛，如果各岛之间交换信息又难免买卖信息，这种情况怎么避免，应该是我们要提醒注意和研讨的一个问题。
四是征信要遵循权益保护原则。数据主体对于数据应该有知情权、同意权。数据主体在征信方面的权力包括被告知权，本人的信息查询权力，还有司法救济的权力。在所有的活动当中要防止和制止未经本人授权，强制授权，一次授权终生使用等侵权行为。在互联网时代大家都变得公开和透明，这个过程当中我们要更多保护个人的隐私，因而在征信活动当中，在信用活动当中我们既要方便信用活动的展开，又要有效的保护个人隐私，在这个当中应该做一个很好的权衡。对于个人数据的财产保护原则和征信权益保护原则，仍然适用于大数据下的征信，大数据的应用和价值的挖掘不能以牺牲个人数据财产权为代价。科技的发展，社会的进步，终极目标是让人类更安全，更自由，保障数据主体对本人数据的占有、使用、收益和处分的权力，谁的数据谁作主，通过严格的执法和行业自律，确保大数据在产权清晰、权力保障有效的框架下，发挥更大的价值，大数据才会拥有健康发展的未来。谢谢大家！
本文系未央网专栏作者发表，内容属作者个人观点，不代表网站观点，未经许可严禁转载，违者必究！
收藏文章 & 喜欢 2
不感兴趣 0
绑定新浪微博登录
后提交您的问题。
现任全国人民代表大会财政经济委员会副主任委员,清华大学五道口金融学院院长,第十二届全国人大常委,中国人民银行原副行长.
按日期检索
2016年四月
11121314151617
18192021222324
252627282930
绑定QQ登录绑定新浪微博登录
请输入您的用户名或电子邮箱地址。您会收到一封包含创建新密码链接的电子邮件。
用户名或邮箱
用户名只支持英文及数字，请不要少于5个字符。
绑定QQ登录绑定新浪微博登录【BDTC先睹为快】宜信郑华：金融大数据大有可为，看好Spark和Docker
发表于 11:13|
作者周建丁
摘要：宜信是全球最大的P2P金融服务公司，公司在2013年底成立大数据创新中心，旨在以技术推动金融创新的尝试，如风控和反欺诈等。郑华对Spark、Docker等新技术在宜信的应用前景非常看好，认为它们能够帮助宜信提升IT效率。
-14日，由中国计算机学会（CCF）主办，CCF大数据专家委员会承办，中科院计算所与CSDN共同协办的&
将在北京新云南皇冠假日酒店拉开帷幕。大会为期三天，以推进行业应用中的大数据技术发展为主旨，拟设立“大数据基础设施”、“大数据生态系统”、“大数据技术”、“大数据应用”、“大数据互联网金融技术”、“智能信息处理”等多场主题论坛与行业峰会。由中国计算机学会主办，CCF大数据专家委员会承办，南京大学与复旦大学协办的“2014年第二届CCF大数据学术会议”也将同时召开，并与技术大会共享主题报告。
本次大会将邀请近100位国外大数据技术领域顶尖专家与一线实践者，深入讨论Hadoop、YARN、Spark、Tez、 HBase、Kafka、OceanBase等开源软件的最新进展，NoSQL/NewSQL、内存计算、流计算和图计算技术的发展趋势，OpenStack生态系统对于大数据计算需求的思考，以及大数据下的可视化、机器学习/深度学习、商业智能、数据分析等的最新业界应用，分享实际生产系统中的技术特色和实践经验。
在本次大会召开之前，CSDN和本次大会“大数据应用”的演讲嘉宾宜信大数据创新中心研发总监郑华做了一次简单的沟通，他简要地介绍了自己与大数据结缘的经历，以及大数据技术在金融领域推进的难点和解决思路。
宜信是全球最大的P2P金融服务公司，公司在2013年底成立大数据创新中心，旨在以技术推动金融创新的尝试，如风控和反欺诈等。郑华对Spark、Docker等新技术在宜信的应用前景非常看好，认为它们能够帮助宜信提升IT效率。郑华同时表示，他将会在12月14日“””上和大家分享和交流更多的金融大数据的干货！！
宜信大数据创新中心研发总监
2007年毕业于清华大学电子工程系，获得学士，硕士学位。毕业后加入美国著名视频平台Hulu工作，是Hulu最早的员工之一。离开Hulu之前是Hulu算法和数据平台团队的负责人，带领团队从头搭建并全面负责Hulu的视频推荐系统，广告精准投放平台，用户智能平台，以及大数据处理平台等。2013年加入宜信大数据创新中心任研发总监，目前负责大数据处理平台，大数据实时授信平台，大数据驱动的反欺诈和风险管理引擎等。
演讲嘉宾采访实录：
CSDN：您曾使用过哪些大数据技术？对这些技术的总体评价如何？
郑华：我主要的工作经历在Hulu，从事大数据处理平台和海量数据挖掘算法的研究和开发，进入宜信大数据创新中心之后，我们也在过去的一年时间内搭建了新的大数据平台，包括数据的获取，存储，处理，挖掘和服务等模块。我们大数据这边的技术全面拥抱开源，主要依赖Apache Hadoop社区生态环境，具体来说，日志归集和文件传输使用了Apache Flume，文件存储使用了HDFS，计算框架使用了MapReduce和Storm，资源管理是YARN，NoSQL数据存储使用了HBase，Cassandra，Redis等，数据仓库使用了Hive，消息系统使用了Apache Kafka，搜索使用了ElasticSearch等。
总体来说，Hadoop社区对整个大数据的发展起着不可替代的作用，有效的降低了技术门槛，推动了上层系统和创新应用的蓬勃发展。普遍的感受是把这些服务集群搭起来跑起来是比较容易的，但是能把系统全局优化好，运维好是非常不容易的。一方面一些开源软件本身就不够成熟，文档比较少，甚至有的时候文档和具体实际实现细节不一样，比如Flume我们使用的时候就遇到了好几个bug，需要深入读代码才能定位到问题，另一方面系统全局优化是一个综合工程，需要对各个软件，操作系统，硬件，网络等都有足够的了解才能做好，比如我们有一个使用场景是用户提交查询词，我们实时从互联网爬取数据，处理数据到最终在ElasticSearch中1分钟内搜索展示出来，我们采取了很多优化措施才能达到最终令人满意的效果。另外一点相比较一些有实力的大公司的成熟产品，开源社区始终处于追赶者的角色，一些好的特性或者产品迟迟还没有完成，比如Hive的查询非常慢一直是为大家所诟病的，Google的实时交互数据分析系统Dremel多年前就已经成熟了，但Apache的开源项目Drill目前还处于孵化阶段；分布式事务和强一致性的数据同步是分布式数据库梦寐以求的特性，Google从BigTable，MegaStore到Spanner，进行了很好的演化，但目前开源社区如HBase还没有看到相应的特性。
CSDN：您现在服务于金融行业，根据您的了解，目前的金融领域，在数据应用方面，遇到的最大困难是什么？
郑华：目前的金融企业，在数据方面面临的困难首先是高价值的数据源很难获取，比如客户的交易数据，负债数据，资产数据等，我们从互联网上公开数据源抓取的数据往往存在准确性和一致性较差的问题，需要我们从多渠道，多方位获取数据进行交叉验证，这对数据处理能力和海量数据挖掘能力提出了更高的要求；其次就是大数据人才的稀缺，现在虽然大数据炒得很火，但是真正有丰富实践经验包括大数据平台的运维和优化，以及在平台上进行海量数据分析，处理和挖掘的人才还是比较难找；最后就是怎么结合大数据技术做好跨领域比如互联网金融的创新应用，也是比较难得，目前大家也都处理探索阶段，希望我的这次分享也能起到抛砖引玉的作用。
CSDN：从技术层面来看，目前还有哪些大数据技术是您正在观察和研究的，为什么看好这些技术？
郑华：大数据技术领域，我们主要在研究Spark，作为一个内存计算的框架，Spark在速度上要远好于MapReduce，而且更通用，支持SQL和结构化数据处理，流数据处理，图处理，MLLib也已经实现了包括SVM，LR，SVD等主流的机器学习算法，降低了海量数据挖掘的门槛并且提高了效率；
从0.6.0开始可以使用YARN作为资源管理和调度框架，并支持HDFS，HBASE等数据源，完全可以共享我们现有的集群资源。我们正在尝试把我们的BI和数据挖掘迁移到Spark上。另外我们也正在研究Docker。Docker提供了基于Container的轻量虚拟化解决方案，使得构建，交付和运行应用更加容易，大大简化了开发和运维的工作，目前包括Google, Amazon, Microsoft等大公司都已经拥抱Docker，Google还发布了Docker容器集群管理系统Kubernetes。Docker作为一项新技术推动了云计算的发展，我们正在自动化测试和持续集成部署方面尝试Docker。
CSDN：请谈谈您在这次大会上即将分享的话题。
郑华：宜信是全球最大的P2P金融服务公司，公司一直致力于为中国高成长性人群提供方便快捷的普惠金融服务。2013年底公司成立了大数据创新中心，主要是想用大数据和互联网的技术做一些金融创新的尝试。我们目前已经推出了多款基于大数据的纯线上信贷产品，而支撑这些创新产品的正是我们大数据实时风控平台。平台结合了用户申请数据、用户授权数据、第三方数据、互联网海量数据等不同数据源，全方位了解客户并分析客户的信用状况和欺诈风险，实时估计授信额度和检测欺诈风险等。这次分享我会介绍宜信大数据处理平台的架构以及我们实时风控平台中的一些核心技术，包括知识图谱，风控模型和反欺诈技术等。
CSDN：哪些听众最应该了解这些话题？你所分享的主题可以帮助听众解决哪些问题？
郑华：我分享的主题是大数据技术在互联网金融领域的一些实践，如果大家对如何用大数据互联网技术做一些风控和反欺诈的事感兴趣的话，欢迎到现场跟我交流。金融的本质是风险管理，我们深信大数据在这方面可以有所作为，美国的征信机构、评级机构以及风头正盛的LendingClub，Kabbage，
ZestFinance等就是很好的佐证。在利用大数据技术进行风险管理方面，我们也处于尝试阶段，但我们是非常开放的、真诚的和各位对大数据技术感兴趣的同行进行交流，希望我们的实践能对大家有所启发，做出更多更创新和引领的事，共同推动技术和社会的进步。&
全国大数据创新项目评选活动目前也在如火如荼进行中，详情点击。
CSDN诚邀您参加活动，只需回答23个问题就有机会获得最高价值2700元的大奖（共10个），
Data Technology Conference 2014，BDTC 2014）将于日-14日在北京新云南皇冠假日酒店召开。传承自2008年，历经七届沉淀，“中国大数据技术大会”是目前国内最具影响、规模最大的大数据领域技术盛会。本届会议，你不仅可以了解到Apache
Hadoop提交者Uma Maheswara Rao G（兼项目管理委员会成员）、Yi Liu，以及Apache Hadoop和Tez项目管理委员会成员Bikas
Saha等分享的通用大数据开源项目的最新成果和发展趋势，还将斩获来自腾讯、阿里、Cloudera、LinkedIn、网易等机构的数十场干货分享。 门票限时折扣中，
免费订阅“CSDN大数据”微信公众号，实时了解最新的大数据进展！
CSDN大数据，专注大数据资讯、技术和经验的分享和讨论，提供Hadoop、Spark、Impala、Storm、HBase、MongoDB、Solr、机器学习、智能算法等相关大数据观点，大数据技术，大数据平台，大数据实践，大数据产业资讯等服务。
推荐阅读相关主题：
CSDN官方微信
扫描二维码,向CSDN吐槽
微信号：CSDNnews
相关热门文章}