IFC1000十一早餐会：大数据超级干货之一

9：30日 习主席主持了政治局的主要学习，对大数据尤为关注。因此我们在北京市金融局的霍学文书记主持下邀请了 百度、京东、用友、拓尔思、亿赞普、小米的高管以及我们互联网金融千人会的众多发起人，还有智能化、支付等多位专家共同研讨，希望给未来发展大数据、互联网金融带来新方法、新思路。

　　总书记的两点和一行动确实很深刻

　　1创新驱动是大势所趋，新一轮科技革命和产业变革正在孕育兴起

　　2一些重要科学问题和关键核心技术已经呈现出革命性突破的先兆，带动了关键技术交叉融合、群体跃进，变革突破的能量正在不断积累。 不能等待、不能观望、不能懈怠。

　　新变革到来之前千万不要：第一,看不见;第二,看不起;第三,看不懂;第四,来不及。

　　未来几个早晨集中研究大数据、在中国和世界的发展及应用。包括大数据金融、和互联网金融中的关键地位。

　　我先抛块砖头：），欢迎大家交流。

　　1 存在的背景：基础设施的巨大飞跃 数据储存技术、网络技术的迅猛发展，为大数据时代的到来准备了物质基础。

　　物联网本质上就是更多采集数据的入口和节点；云计算培养了服务的商业模式和集中建设降低单位计算和存储成本。 到了移动互联网就更有意思了：第一个特点是身份，在合适的时间，合适的地点，将合适的信息送给合适的人，你要知道你的对方是谁，他有什么喜好，他现在是什么状态，没有这个精准身份的信息，一切都无从谈起。 第二个就是连接，双向适时的互动连接，有了网络以后，你想要什么信息，就从电脑上去索取。手机我们一半除了拿信息以外，我们另外一半推信息，但是这个带来的变化也就是信息流动能够更加适时了。 第三个是手机主要的特性，信息是有位置属性的。最后是感应，我们电脑上已经不会再有太多的感应器了，手机上的感应器角度会越来越多，可穿戴的产品，未来我们的手机可以闻到味道，可以感受到甲醛超标，可以感受到电磁辐射。 这三样结合在一起本质上就是产生、处理和应用了大数据，通过各种各样新的技术和来帮助我们解决各种各样的问题，重新构建信息流，资金流、物流。

　　2 数据究竟有多大？大数据带动方法论上的变化 本质上是人的行为越来越被虚拟化，以前历史上谁都不知道你在互联网上是人还是狗，现在处处行迹处处痕，语言分析、自然语义处理、图像处理、信号处理、关系预测来精准预计，导致全球数据量每两年翻一翻。 随着Iphone和各种安卓普及，每个人在云端都有几个G几个T的网盘，存着各种各样的信息，大到一定程度，根本没法处理，我们叫做狭义的大数据。有很多的新的计算机的处理方式，存储方式，和数学建模的方式去分析这些数据，那数据根据访问频次又分冷数据和热数据。当年由于热数据所带来的信息量意义更大，关注度集中在此，数学上的方法也是基于统计抽样。 奇妙的关联度：但随着计算和存储成本的降低，发现可以处理全量数据，全量数据堆积在一起发生了非常多奇妙的现象。有些对当前的科学都有重大影响，当年基于统计、抽样建立起来的模型极有可能是错的，比如开普敦定律和冥王星的失误。这个可以参考我和国栋共著的大数据时代的历史机遇一书。所以在狭义的定义下会出现IBM和IDC定义的4个V，数据规模（Volume）、快速（Velocity）、多样的类型（Variety）据价值（Value）

　　3 但是我认为为什么大数据会如此轰动是深远的社会背景，更重要是数据思维。 首先就是我一直提的数据思维，所谓的数据思维，要重视数据的全面性，而非随机的抽样性 其次：就是关注数据的复杂性，弱化精确性，以前我们就有很多人要求一是一，二是二，现在大数据里面我们就不要求那么精了，我们要求一个大的框架，模糊的准确度趋势的判断 第三 大数据是一种重新评价企业、商业模式的新方法了，数据成为核心的资产，并将深刻影响企业的业务模式，甚至重构其文化和组织。

　　我定义了从五大维度：活性、颗粒度、维度 时空、情绪 第一个叫活性，基本上你在互联网公司里面，比如你用阿里的服务，可能每天使用3到5次，但是你知道银行的网点你可能一个月或者更多时间才去一次。 第二个称之为叫颗粒度，就是你在电商的平台上从你进店到购物、到形成采购、到物流、到运送、到配送、到最后的评价跟分享，所有的环节都给你充分的记录起来，这是很重要的，我称之为颗粒度，银行我们现在看到的信息的数据或者金融的数据就是水电、煤气加成本，再加上你的工资到账日期，这个数据是非常粗糙的。 三个是称之为维度，像易宝支付，当你使用他的数据以后你的数据就留在他那里面，这样有更多的维度进行数据相关的处理和分析。 第四远近。当某个人有贷款需求的时候，我的金融机构，我的互联网公司，很有可能是第一个能知道你有贷款需求的，或者在线的时候知道，我可能第一时间就知道这个客户，银行知道这个过程中间还有很多，这是一个，这是远近。 最后一个我们称之为叫情绪，你在微博上发的任何一条信息都是带有情感的，你有情感之后就知道你的状态，就知道采取任何的营销是不是有用。

　　4 接下来发生怎样的事情 泛互联网化：软件、硬件会免费，成为收集数据的入口 行业垂直整合：一开始是软件做硬件、互联网公司做硬件和软件，接下来就是电商做金融、金融做电商、软件公司提供增值服务。为什么？一旦需要无线的靠近客户之后，就要服务客户需求的一切，行业的边界在不断被打破 数据成为资产：数据会变得越来越重要，是一切商业模式起源和重构的基础

　　5 在中国和全球的情况 全球范围看，这种变革正在发生。互联网行业首当其冲，接着是商业智能与咨询服务领域、零售行业，还包括医疗、卫生、交通、物流甚至生物科技、天文…… 大数据催生的数据服务意识和能力，正在影响这个社会的方方面面，从商业科技到医疗、政府、教育、经济、人文以及社会的其他各个领域，并催生了了各行各业的 变革力量。也就是我们所说的跨界颠覆者。 我把大数据技术分为传统企业级别，和创新市场。 企业级别市场还是IBM、EMC、惠普、Oracle新瓶装旧酒，那些商业智能数据处理的老产品来取代，更多的只是忽悠客户来干干数据分析的活。 当时在另外一方面，像googlefacebook,国内的BAT等是真正在考虑大数据的。而且以阿里引导的去IOE的大趋势，也是体现了在未来移动化和大数据浪潮下，老外的产品无法满足国内快速、开源、便捷的增长需求。 在创新市场里面的大数据技术： 一方面，以开源为主。即便是IBM、Oracle等行业巨擘，也同样是集成了开源技术，和本公司原有产品更 好的结合而已，在新兴 的大数据处理领域，中外公司几乎站在同一起跑线。单纯考虑狭义的大数据处理技术（如Hadoop、MapReduce、模式识别、机器学 习等），中外差距很短左右。如果考虑数字资产规模以及利用的技术，中外差距更多体现为意识上的差距。 像阿里已经完全取代了IOE的产品，当前不仅自己用，而且还提供了阿里云对外输出。节省20亿IT开支，像亚马逊已经把EC2和S3成为较大的盈利点。而且阿里现在的处理能力每秒达到1亿次，超过了4大行的综合（马云前几天在人民银行的忽悠） 另一方面，中国人口和经济规模，决定中国的数据资产规模，冠于全球。客观上为大数据技术的发展，提供了演练场。比如我之前在甲骨文的时候是三大运营商的咨询经理，每次遇到客户客户都提，我们的数据量全球第一。神枪手是靠子弹磨练出来的，好的产品也是靠数据量出来的。 在阿里，京东、百度相关公司，不管是客户需求驱动、还是成本驱动都开始了替代过程，我认为这个变化趋势会进一步传导到金融、电信、政府等重要IT投入行业中

　　6 几家典型公司的大数据： 百度拥有中国最大的消费者行 为数据库，覆盖95%的中国网民，日均响应50亿次搜索请求，搜索市场占比达80%，百度联盟，60万联盟合作伙伴每天有50亿次的日均行为 产生，这些构成了巨大数据的基础。 变现模式：推百度指数，并在百度指数的基 础上建立百度风云榜；百度数据中心，研究机构的方式网络搜索咨询报告。广告站长和开 发组提供的百度（移动）统计以及相关的开发者服务工具

　　腾讯则超过7.836亿QQ活跃账户，4.69亿微博用户和超过1亿 的视频用户、5.976亿QQ空间用户，微信、手机管家等带来的移动用户也超过了4亿，海外用户快超过1亿。除却海量用户，腾讯“N个产品×N个平台×N个终端×N个用户关 系”的庞大服务矩阵，带来数据的非结构化、碎片化、海量化。变现工具只有：腾讯分析和腾讯罗盘

　　马云宣称平台、金融和数据是阿里未来的三大战略方向。阿里未来本质上是一个数据公司，电商越来越离不开数据，金融的核心也是数据。收购的新浪微博、友盟、高德、丁丁等就是为了圈数据。相关的东西我都喷过数百次了，就不详细展开。负责人：车品觉，有意思的产品：内部的淘数据、KPI系统、数据门户、活动直播间、卖家云图、页面点击、黄金策；给客户提供的数据魔方、无量神针和类目360、淘宝指数 最具备划时代意义的2012年阿里又推出了“聚石塔”产品可提供数据存储、数据计算两类服务2012年“双11”那次191亿元的大促销当天，“聚石塔”处理的订单超过天猫总量的20%，比平时增长20倍。阿里金融是大数据衍生产品开发的一个范例。阿里由于电商特性他在应用上走得是最远的。

　　7 产业链的分类与规模 相关的基础产业还挺多的 一是数据技术产 业，包括硬件方面的智能管道、物联网、服务器、存储、传输、智能移动设备等，软件方面的语言、数据平台、工具、结构与非结构数据库、应用软件等，服务方面 的IDC、云计算、WEB应用等； 二是数据采集，包括定位、支付、SNS、邮件等行业； 三是数据工业，包括数据挖掘、数据分析、数据咨询等产业； 四是 数据应用业：比如基于数据产生的互联网金融

　　8 我对大数据总结了一些东西，1234567 概括一种思维：数据思维

　　两大推动 极致体验、长尾效应

　　三大趋势 ，泛互联网、垂直一体化、数据是资产。

　　四大步骤 入口、流量、数据、变现

　　五大标准 活性、颗粒度、维度 时空、情绪

　　六大模式 数据、信息、咨询、媒体、数据使能、技术

　　七字心决 专注、极致、口碑、快

　　其他重要相观点： 下一步国家必将在更高层次的产品和服务上替代外国的东西 就像电视 冰箱 汽车一样 主要在信息和精密制造

　　谢谢欢欢精彩全面的分析，我想补充的一点是对于大数据，硬件上已经做好了准备。包括各种各样的传感器，mcu嵌入式微控制器也开始运作在安卓系统上来提供更强大的处理和更开放性，与以前封闭的嵌入式系统将完全不一样，这表示全世界以前的嵌入式孤岛，会被联系起来。最后由于4G网络的快速到来，为高速数据传输铺好了道路。  

　　各行业都会出现数据驱动的多边平台业务模式的企业，跨界融合快速创新 基于设备交互和移动互联的数据收集信息点收集，以及大数据分析，会产生许多新的创新模式，但是对应的信息泄漏点也增加许多。

　　昨天手机下载一个银行的app,发现要手机个人的手机通讯纪录和地址等三个信息,从个人隐私角度看非常不安全。近日多家的手机支付安全出现问题，也说明原来的闭环或类闭环交易出现了第三方或信息转接机构后，安全性需要统筹考虑，否则对行业是重大影响。 可能以往二十年我一直在做金融所以比较注意风险，但真正的大数据时代一定要把安全和保密做到位，否则棱镜门等类似的事件和黑客冲击一定会影响我们，这也算是一个卖水的产业吧。对应手机支付等还没有充分考虑到，双因素认证是我们今后一定要注意的安全手册。单要素认证短期看方便，包括和手机绑定，长期看一定会出大风险。在未来的可穿戴可传递设备和软硬交互中，设备唯一终端号是很重要一个因素。同时任何的第一次的安全认证必须认真进行验证，包括第一次使用或中途更换设备等。
数据分析, 数据挖掘, 大数据, 数据