【上海天元项目投资风险评估报告】创业公司怎么搞大数据？_数据分析_新浪博客
【上海天元项目投资风险评估报告】创业公司怎么搞大数据？
【上海天元项目投资风险评估报告】创业公司怎么搞大数据？
上海天元项目数据分析师事务所有限公司
地址：上海市徐汇区天钥桥路329号B栋7楼
这是一个不说自己搞大数据就不好意思和人打招呼的时代。阿里巴巴用大数据贷款，百度用大数据推广告。那么，没有巨头的天然优势，创业公司具体怎么搞大数据？
开搞之前，先明确一下目前大数据主要是用来预判，挖掘用户的需求（也有用过去的大数据判断现在的需求，如大数据种菜判断菜目前的长势情况）。那么，预判的依据是什么？就是所谓样本，例如我通过前几年的平均气温判断今年的温度是高是低。
这里还可以分为三种情况：一种是我的大数据软件自带了很多样本可以作为分析依据，一种是我把之前的交易数据作为样本。第二种较先进，要求系统有自我学习建立样本模型的能力，也就是边干边学。第三种最牛，不光能做出预判，还能告诉你下一步怎么做，例如一家卖拖拉机的公司，为用户提供何时在哪里种植何种作物，犁地的最佳路线。
首先说一下数据来源问题，可以是平时经营过程中积攒下来的也可以向别的公司购买（像京东那样买腾讯的数据，目前国内贵州大数据交易中心和DATACOMB很出名，后面细说），技术关键：积攒数据同时要根据自己的需求为用户和产品贴标签，例如我希望了解和用户年龄段有关的规律，那么年龄就是必须采集的一个标签。积攒数据的方式大致分两类，一类是围绕用户，一类是围绕产品，将两者每次交易的数据都采集下来，可用人力，例如饭店服务员每次交易记录下菜品，性别，满意度之类，这一步又叫企业数据化。
然后是数据的初步处理：租服务器，建立自己的数据分析架构，例如日报表月报表这些都OUT了，应该明确适合公司的格式，如果需要这些定制需求的报表，目前流行的大数据的解决方案大部分都是以Hadoop为基础架构。什么是Hadoop？简单来说Hadoop是一个分布式计算的解决方案，分布式通俗来说就是把一件事分布到几台计算机上运行。由多台计算机同时运行和存储数据，比一台计算机运行速度快，而且如果数据量大了，或者报表复杂导致运算速度慢，只要再加计算机就解决了。
当每台计算机运算完毕后，会把中间结果集中到一台计算机上，再把这些中间结果汇总起来得出最终结果。把手头的数据进行预处理，包括将不同数据库的数据导入到一个数据库中，数据的粗选，分析，分类，会用到EMC
的GreenPlum、Oracle的Exadata，以及基于MySQL的列式存储Infobright等，而一些批处理，或者基于半结构化数据的需求可以使用Hadoop。先别头大，如果你不是淘宝京东这样的巨头没有那么大数据量可以不这么麻烦，剔除那些和其他数据差别很大的就行
接下来，就是最核心的，数据挖掘。这一步可以挖掘出你意想不到的信息，比如，买啤酒的顾客通常会买尿布，持续买无香精面霜的顾客通常接下来会买母婴用品。这些数据怎么挖？需要用到以下工具：
1.决策树，各种可能性的展示图，主要用来精确分类。例如，树的根部是杂货铺里所有商品，往上走就是第一个分叉，分叉处有一个判断标准-吃的还是用的，于是所有商品被分开为两个树枝，吃的再往上走又出现分叉，于是被分成甜的和咸的…
2.神经网络，例如，计算机预判迎面走来的这个软妹子会买奶茶，因为根据神经网络显示，上次买咖啡，上上次买酸奶的，这次99.99%的概率会买奶茶。什么？这货买的啤酒？那计算机就会根据这次的结果修改神经网络。没错，神经网络是具有学习能力的模拟人脑总结教训的分析模式，他会自己得到一个稳定准确的结果。
3.关联规则，例如上文说的买啤酒的一定买尿布。
先看一个简单的例子，假如有下面数据集，每一组数据ti表示不同的顾客一次在商场购买的商品的集合：
t1: 牛肉、鸡肉、牛奶
t2: 牛肉、奶酪
t3: 奶酪、靴子
t4: 牛肉、鸡肉、奶酪
t5: 牛肉、鸡肉、衣服、奶酪、牛奶
t6: 鸡肉、衣服、牛奶
t7: 鸡肉、牛奶、衣服
假如有一条规则：牛肉—&鸡肉，那么同时购买牛肉和鸡肉的顾客比例是3/7，而购买牛肉的顾客过一段时间也购买了鸡肉的顾客比例是3/4。这两个比例参数是很重要的衡量指标，它们在关联规则中称作支持度（support）和置信度（confidence）。前者反映了牛肉鸡肉组合的吸引力，后者可用来预判消费行为。好了，现指定你想要的支持度和置信度是多少，然后把牛奶鸡肉，衣服奶酪等各种组合用程序算一遍，找出支持度和置信度满足你要求的组合。
其中，假如一条关联规则的支持度和置信度很高时，不代表这个规则之间就一定存在某种关联。举个最简单的例子，假如X和Y是最近的两个比较热门的商品，大家去商场都要买，比如某款手机和某款衣服，都是最新款的，深受大家的喜爱，那么这条关联规则的支持度和置信度都很高，但是它们之间没有必然的联系。所以，搞大数据既要对专业精通又要对你公司的业务精通，这也是现在公司经常碰到的难题，此事古难全啊。
除了这些，大数据还经常用到一些数学工具如，线性回归，支持向量机等来帮助进行比对和分类。不要小看这些辅助工具，有时候他们是主力。美国警察用电力公司的数据与培养大麻的LED灯用电曲线进行比对，数学工具就是线性回归，只要发现哪家用电曲线和样本相符（相符的程度用方差表示，标准老警自己定），直接踹门抓人一抓一个准。这些数学工具很多都是用来分类的，分类在大数据中是个大事，例如国外有的门户网站首页分类用大数据直接筛选出详细页使用频率较高的词汇作为各个大类的标题。
工具列完了，下面数据挖掘正式开幕：
大数据对于什么时候用人力什么时候用计算机也能看出来功力，中小公司更应该注意巧妙利用人力，可避免在技术上过多拼财力。比如以上的例子中大家可以看到，相似不相似，是不是关联，这些标准都是人定的。计算机常负责一些同一个算法算大批量数据的活。美国大数据公司的老大Palantir就因精于此道而著称。中小公司在这方面也有做的不错的，最近开始流行的图片新闻APP
网新闻的策略就很值得借鉴：
网新闻主要是用关系图，时间轴各种图片展示更丰富信息，一条新闻，用户希望在哪一点上获取更深入的信息是网新闻最想分析的，明确了这个目的又积累了一定用户行为的数据后，网新闻做了如下工作：把一个新闻，举个栗子，如释永信事件，让小编写完这条新闻就分析用户关注这条新闻的点在哪，并且把各种可能性列出来。列出的结果是：
1、用时间轴展示少林寺背后的利益纷争事件，用关系图展示各利益相关方的关系，这两条可以满足求知欲，用户也可以说出去秀知识。
2、说明佛门中的禅宗一派特点就是不避世俗。古代就在寺庙做小买卖。进而拓展到律宗，密宗是怎么回事。
3、传闻释永信嫖娼，有情妇，桃色因素是一个。
4、中国法律目前对寺庙住持是怎么定性的，有哪些法律来约束，触犯了这些法律会受到什么样的惩罚，对事件目前形势未来预判也是一个吸引人的因素…
这样列出来后，进行关联性分析，点击量高的新闻，一定是具备因素2和因素3？还是因素1和因素3？…网新闻用这种方法得出很多有价值的信息，如用户对用图片解释“经理人采购指数”感兴趣还是对展示某经济指标对自己生活的影响更感兴趣，然后用这些数据指导小编摆图写稿。
另外，不要觉得分析数据预判用户需求很屌，其实路边卖手抓饼的也经常能猜出你这次要不要放辣椒，就是调用的他脑中的大数据。可以让用户刷打折卡或者是通过QQ定外卖时显示他平时的偏好。这个方法需要对数据预处理去掉那些和其他数据偏离较大的数据可获得基本的“用户画像”。另外还可以结合其他因素数据丰富“用户画像”，例如天气炎热或寒冷的情况下用户的喜好，每到周末是不是多买一些等。
还有一个很重要的使用人力的节点就是先想好你想了解什么。例如，买啤酒的顾客会买尿布这个例子中，数据挖掘工程师其实提前就想到有必要查看一下啤酒和其他商品的关联，才有了这个发现，而不是计算机自己去找这两者关系。这需要洞察力！福布斯网站发文称“首先制定好策略，然后奔着结果找出答案”，并由此得出“问题比答案重要”的结论。
使用大数据的流程就这些了。总结一下哪些地方使用人力：收集什么样的数据需要人来做决定，想好要弄清楚哪些规律需要人来做决定。电脑主要用来存储，以及用数学工具来进行具体计算。哈哈，原来大数据不是巨头们买一个塞满房子的超级计算机把海量数据统统输进去然后“度昂”一下就出来结果了！我们小公司一样可以搞啊！
由于“问题比答案重要”，再说一下大数据领域提出的几个有代表性的“问题”。既然除了利用之前积累的数据了解用户偏好向用户推销这次的产品，还可以用大数据让用户方便的消费来提高用户体验：快餐业的视频分析。该公司通过视频分析等候队列的长度，然后自动变化电子菜单显示的内容。如果队列较长，则显示可以快速供给的食物;如果队列较短，则显示那些利润较高但准备时间相对长的食品。这个案例门槛极低，只要人为设定队伍多长算长，做食物的速度多块算快即可，也可以人工标定一下哪些是快食哪些是慢食。
不仅可以预判需求予以满足，营销时还可以定点营销。此类打法常常是从别的机构购得数据或者连钱都不花从政府开放的数据中拿，一家领先的专业时装零售商，通过当地的百货商店、网络及其邮购目录业务为客户提供服务。公司希望向客户提供差异化服务，如何定位公司的差异化，他们通过从Twitter
和Facebook
上收集社交信息，更深入的理解化妆品的营销模式，随后他们认识到必须保留两类有价值的客户：高消费者和高影响者。然后通过免费化妆服务，对这两类消费者进行精准的宣传。这个案例中，需要用到的工具有用于归类的线性回归，聚类分析等。
数据的来源问题：由于没有巨头那样的数据积累，中小企业经常想到购买数据，或使用政府公开的免费数据。目前国内掌握大数据的巨头不够开放，形成了让仁人志士头大的“数据堰塞湖”。虽然也有开放数据的，例如中国首个大数据开放平台DataComb，对于掌握一些数据的公司来说也多了一些数据变现的渠道，然而对疏通“堰塞湖”并没有太大作用。也有好消息，8月19日，国务院常务会议审议通过《关于促进大数据发展的行动纲要》，全面公开应该就在眼前了。在美国最重要的数据开放平台就是奥巴马政府在2009年推出的Data.gov，奥巴马同学对搞大数据一向蛮拼的。
另外，创业公司切记，巨头们整天嚷嚷的“大数据不必追求精确，牺牲精确性可以换取效率和更多规律的发现”，可问题是那是在数据量异常大的情况下，对中小企业数据量不太大时务必要精确。
大数据分析可谓是兵无常势，水无常形，真正厉害的数据挖掘大师是碰到什么样的形势知道用什么样的工具来解决的人。
中小企业玩大数据切记：1.不炒概念。2.不烧钱。
切实用大数据提升企业竞争力才是王道。
博客等级：
博客积分：0
博客访问：569
关注人气：0
荣誉徽章：&&&&&&&&&&
高大投资公司是不是骗子呢？
进入空间>>：
编号：1201666
发布人：vbmgnc &&
电子邮件：
公司名称：
地址：工会费功夫是多少
联系人：未上市
发布时间： 20:19:05
发布人IP：112.97.224.218
所在地区：贵州 贵阳
分享信息：
高大投资公司是不是骗子呢？安全吗？知情的麻烦+我★QQ:380998+探讨，本金能退回来吗?相互了解，和您一起创造财富梦想。一起交流一下“互联网金融：痛并成长着”。“高收益、低风险、灵活存取”……悄然间冒出的众多理财公司，携带着种种难以抗拒的“诱惑”，进入了很多人的生活。有实地考察过的麻烦加下qq& :@@@@@@@ 一起了解探讨，谢谢 新型投资，1万元投资理财2个月变3万元，天天收入是是真是假?& re&&ww&&&wwwscv&vvv44rd到4333&33333&　一二线城市房地产市场过热， 引发全国多地发布限购限贷规定，央行也吹风希望银行配合各地调控政策。21世纪经济报道记者获悉，10月12日，央行召集5家国有大行和12家股份制商业银行相关负责人开会，讨论当前房地产信贷形势。“参加会议的主要是各行行长带队，个别银行是副行长，行里个贷部、资产负债部门的负责人陪同，级别很高。”有与会银行人士告诉21世纪经济报道记者。在上述会议上，央行人士提出，房地产市场过热可能会对中国经济稳定造成影响。当前居民住房按揭增长过快，有地区按揭规模比去年末翻倍，也有地区按揭占新增的90%。21世纪经济报道记者此前据上市银行半年报统计，2016年上半年住房按揭占新增46.58%。按揭和开发的充足供应，支持房地产热潮的延续，居民房价收入比过高。央行人士表示，希望银行能统一思想认识，管理好各地分行的信贷节奏，配合各地政府做好房地产调控。几家银行负责人在上述会议上表态，住房按揭整体风险可控，新增按揭未过多流向热点城市。一位银行个贷部门负责人对21世纪经济报道记者表示，鼓励居民消费的方向没错，但局部地区房价过快上涨，不利于引导金融服务导向。在整体经济下行压力比较大的背景下，从均衡信贷资源方面考虑，也确实应当引起关注。此外，国内外均有一些教训，如日本房地产崩盘，温州也曾因房价过高后暴跌导致银行信贷风险升高。“银行承担着执行货币政策的责任，局部不均衡，通过金融手段促进房地产市场稳健发展。”另有国有大行研究人士表示，各地高价拿地现象频出，信贷投放大部分流向住房按揭，高层的担忧不无道理。尽管当前居民杠杆不高，但首付比例下调、银行自主定价下浮利率的情况下，房地产市场存在非理性发展。“短期来看，部分地区房价涨得过快过猛，透支了一两年的发展。”有银行资产负债部门人士对21世纪经济报道记者表示，当前个人住房按揭较多来自银行系统，但银行多数在压缩地产开发。“以前段时间上海高价拿地的融信为例，其主要资金来源是发行的公司债、SPV等渠道，银行信贷极少。”在国庆假期期间，全国超过20个热点城市密集出台限购限贷措施，包括提高首付比例至三成及以上、外地户口二套房限贷、超过二套房限购等。“按揭的安全取决于未来房价的走势和居民收入水平，如果提高首付比例，利率理性定价，银行的资产安全边际就更高了。”上述银行研究人士称。21世纪经济报道此前报道，10月12日上午，上海银监局也召开会议提示房地产信贷风险，主要内容为对公房地产融资规范。此次央行吹风后，各银行是否会放慢按揭发放节奏还有待观察。一位银行人士称，上述会议上并未发布具体政策和相关文件，希望各行自律，配合各地方政府发布的房地产调控政策。在银行信贷投放中，按揭仍属相对优质的资产，多位银行人士表态仍会满足居民的正常住房需求，“从银行的角度来说，没有理由不做这项业务”，但会加大其中的资格审查。在限购限贷后，热点城市的按揭投放速度及规模不可避免受到影响。银行如何配置信贷资源？上述银行个贷部门负责人认为，绿色金融写入G20公报，看好绿色信贷的发展；各地重大基础设施也是优质项目，支持国家重大战略如“一带一路”、“长江经济带”等。此外，围绕科技创新领域，也能找到优质的信贷客户。
联系我时请说明是从久久信息网看到的，这样我会给你较大的优惠！
信息由用户自行发布，采用请谨慎，我们鼓励您当面交易。 久久信息网只为传递信息，我们不做任何双方证明，也不承担任何法律责任。 信息转载，请标明来源于。
内&&&&容：&&&您的位置：
2015年，互联网金融产品里面最具争议性的就是非法传销注意风险金融互助了！众多媒体质疑其的合法性，然后目前没有任何政府机构站出来明确指出非法传销注意风险金融互助是违法的。同时，近日，非法传销注意风险国内版小范围内向部份经理人发出了以下通知：我们正在邀请积极的参与者为测试的EXTRA软件测试第二阶段。在最近的时间我们将推出这个软件在非法传销注意风险中国。你将开始在社交网络中完成任务，在中国开始系统推广制度。在完成任务之后，应该有反馈。那么 ，EXTRA到底是个什么新东西？我们从相关经理人了解到以下内容。EXTRA其实并不是一个新东西，早就在超级非法传销注意风险中，就已经有了，简单来说，玩家通过做各种任务，就可以取得更高的收益，比如在QQ空间、微信朋友圈完成一定的任务就可以了。EXTRA只是把原来超级非法传销注意风险的内容添加到了国内非法传销注意风险中来！（更高利息）非法传销注意风险是什么？1.没有公司，非盈利团体2.平台不收资金，会员之间混合转账汇款，无资金风险3.非法传销注意风险系统不收取会员任何汇款，国际大平台，已经运行了4年多了，这就是稳定的表现。4.投资少，回本快，周期短15天，回报高（一个月30%），一个月必须全部卖出，再要投资就从新进入，这是一个重复的过程。1.关于是不是合法的问题。可以说世界上任何国家的法律都不禁止私人之间的金钱帮助。自己的钱我可以给任何人，没有公司只有平台，她不收取分文钱财，怎麽就成了庞氏骗局了呢！2 参与者所得利润是从哪里来的？那么在3M参与者所得利润到底是从哪来的呢！说白了就是从众多的参与者的资金流动中产生出来的，没有参与者也就没有利润一说。当然系统有一套科学的 计算公式，谁都不可作弊，只要你严格遵守游戏规则，今天你提供帮助给别人，明天你就会得到别人的帮助，由于设计的是从15天解冻之日就可以得到帮助，而且 随时也可提供帮助，满30%就出局。必然形成不是金字塔的公平的良性循环平台。这是大多数人的一个疑问！高深的理论我说不上来，但我知道银行和股市基本上都是老百姓的钱在里面，银行给你的利息了了无几少的可怜，但他把款J出去，通过资金流动就大把大把的赚，其利润高的吓人！他是无本生意而且是垄断企业。如果老百姓都不去银行存款和把钱都从银行里取出来，他就一定会破产。股市也是一样，绝大多数是老百姓的钱在里面。最近有位周教授说，股市在某种程度上可以说是有组织、大规模的金融诈骗集团。这可是国家合法批准的机构，照样骗你没商量，不过媒体宣传“股市有风险，投资须谨慎”！你要进入赔了完全怨你自己。3M投资马夫罗也说过请用你的闲置的钱来操作，不支持投机倒把的不诚信会员。那么在3M参与者所得利润到底是从哪来的呢！说白了就是从众多的参与者的资金流动中产生出来的，没有参与者也就没有利润一说。当然系统有一套科学的 计算公式，谁都不可作弊，只要你严格遵守游戏规则，今天你提供帮助给别人，明天你就会得到别人的帮助，由于设计的是从15天解冻之日就可以得到帮助，而且 随时也可提供帮助，满30%就出局。必然形成不是金字塔的公平的良性循环平台。现在我们来说下 2015年经过了3M重新启动跨入了 2016年的3M。目前资金池的情况。就拿提供帮助来讲。比如你2月1号提供个6万RMB 的帮助。你提供帮助并不代表你把这个钱就马上要打出去，提供帮助以后需要等待系统进行匹配给有提现的人进行提现。目前排单时间最少是10到16天的样子 ，2月1号提供帮助 你的钱真正打款出去的时间是2月10号。这样的话 你1号到10号你钱打出去的时候你已经赚到了6000RMB了。排单开算算多久可以提现呢？ 14天 就是这笔2月1号提供的排单 2月14号就可以提现。其实你这6万块钱只在外面流浪了4天 。你可以赚到多少钱呢？6万本金+每天1%利息 就是可以连本代练提现出来69000！目前就今天2月14号 非法传销注意风险 现在一般都是提供帮助14天以后才可以匹配上的。就是你的钱从做口袋出去 右口袋进来只需要24小时，甚至几个小时 就吧这个利润赚到了，现在是入场非法传销注意风险的最佳时机。如果想实现梦想，想改变自己，先静下来问问自己：你是否敢于踏出第一步？是否敢做一个小小的尝试？是否愿意少抽一包烟？是否愿意先少下一次馆子？是否愿意拿60元尝试一翻，即使错了，也是一个不错的教训！我当初也是这么想，所以迈出了第一步。在采访结束后，我们又连线了一位互联网金融研究人员，他们说：“这个新颖的互助平台以及保险公司、银行等机构所采用的模式都是类似的，之所以它有较高的风险是因为它没有被合法化，所以媒体等外界因素非常容易造成动荡导致集体兑现，从而引发崩盘。它的重启却制止了真正的崩盘。不夸张的说，这种模式若能够足够长久，一定会影响到许多银行等机构，也或许这才是互联网金融发展的未来。”微信：DD & &电话：
(window.slotbydup=window.slotbydup || []).push({
id: '2863855',
container: s,
size: '300,250',
display: 'inlay-fix'}