大数据即将开创信息社会的崭新时代。人们现在每两天产生的信息等同于人类从有文明开始到2003年之间产生的所有信息。到2020年,全球数据量将达到35 ZB,是2009年的40倍。麦肯锡全球研究所2011年5月发布的大数据报告估计该行业每年产值可超3000亿美金。
大数据时代的发展趋势
中国传统红利丧失,三驾马车都显疲态,处在关键的十字路口。以信息技术为代表的第三次工业革命到来,互联网、移动互联网和大数据有望成为中国经济新一轮快速发展的关键推动力。信息消费有望成为内需拉动的新引擎,大数据颠覆传统产业,提升运营效率和结构效率,推动传统产业升级经济转型。
围绕数据和最终用户,我们观察到计算机行里发展有三大趋势:
一、应用软件泛互联网化
所谓泛互联网化,就是指应用软件都会和互联网联通,成为用户接入互联网,享用网络服务的媒介。一般而言,大家用浏览器上网。现在几乎所有的应用软件都具备联网的功能。比如我们现在打字用的输入法,它不断地把我们的常用词传到到网上;再如360安全卫士,不断地会收集电脑上的一些隐患,也会传到网上。泛互联网化解决两大难题:第一,猖獗的盗版。盗版软件接入网络无异于自投罗网;第二,促使盈利模式从卖软件拷贝,走向多元化。还可以卖服务、卖流量、卖广告。
泛互联网化有三个显著的特征。第一,跨平台,不管是PC、平板还是手机,给客户的体验应是相近和相互关联的。第二,门户化,用户无须启用其他软件即可完成绝大多数的工作和沟通需求。对于个性化的用户需求,可以直接调用第三方应用或者插件完成;譬如从新浪微博的发展轨迹可以清晰地观察到门户的特点。某个软件一旦具备了门户的特征,那它就基本走在赢者通吃的路上,甚至给第二名都留不下多少机会。第三,碎片化。把原来大型臃肿的软件,拆分成多个独立的功能组件,用户可以按需下载使用。最典型的例子就是苹果的APP store。每个“碎片”完成一个小功能,聚合起来,就可以满足人们方方面面的需要。到2012年3月份,苹果应用商店的下载量已经超过250亿次。碎片化衍生出微支付,用户可以花几元钱买到很好玩的东西。如果一些大型应用软件,通过碎片化方式提供,还可以显著降低用户的总体拥有成本。
二、大趋势是行业应用的垂直整合
了解这个趋势,可以解释非常多的公司成长逻辑。在这个趋势下,越靠近终端用户公司,在产业链中就拥有越大的发言权。微软的股价十年横盘,IBM却受到巴菲特的青睐,两大巨头之间的恩恩怨怨、此起彼伏是这个趋势最好的注脚。
过去大家买电脑,关注的是CPU主频、内存、操作系统等,现在入手IPAD,直观感受是酷不酷,没有人问IPAD的CPU是几核的。这标志消费者的关注重点已经迁移到电脑能否满足我的个性化需求。在企业级市场也一样有相同的趋势,客户更多会问,你们能不能满足我业务的需要?不要讲你的数据库、主机又出了什么新功能。这个趋势的出现有两大原因:一是通用的平台型软件逐渐同质化;二是用户对自身业务关注,超过对计算能力的追求。
软件同质化其实很多人都没有意识到,有人在微博上大肆贬低用友、金蝶等软件公司的商业模式和功能。其实,在大多数客户眼里,这些软件没有本质的区别。另外,我们观察到,几乎每个大型的商业软件,都有对应的开源软件,而且这些开源软件的功能和性能,也已经可以满足大量客户的需求。需要提醒的是,Goolge、Facebook这种世界级的平台,其核心技术架构都是开源软件唱主角。开源软件的兴起和繁荣客观上也加剧了软件的同质化。在这个趋势下,拥有大量的客户,了解客户业务需求的公司,将会迎来一波大的发展机遇。
三、大趋势是数据将成为资产
最近神州数码的董事长郭为在政协提案中,呼吁立法保护个人信息,部分原因就在于此。未来企业的竞争,将是拥有数据规模和活性的竞争,将是对数据解释和运用的竞争。在这个领域,将产生下一个千亿级别的大公司,幸运的是,我们发现了两个千亿级公司的胚子。围绕数据,可以演绎出六种新的商业模式,即租售数据模式、租售信息模式、数字媒体模式、数据使能模式、数据空间运营模式、大数据技术提供商。最后一类是提供大数据的处理技术。
租售数据模式:简单来说,就是卖广泛收集、精心过滤、时效性强的数据。这也是数据就是资产的最经典的诠释。
租售信息模式:一般聚焦某个行业,广泛收集相关数据、深度整合萃取信息,以庞大的数据中心加上专用传播渠道,也可成一方霸主。顺便说一下,数字、数据、信息这三个词在本文中,未加区分,为了行文方便而交叉使用。但在这里,信息指的是经过加工处理,承载一定行业特征数据集合。
数字媒体模式:这个模式最性感,因为全球广告市场空间是5000亿美元,具备培育千亿级公司的土壤和成长空间。这类公司的核心资源是获得实时、海量、有效的数据,立身之本是大数据分析技术,盈利来源是精准营销。
数据使能模式:这类业务令人着迷之处在于,如果没有大量的数据,缺乏有效的数据分析技术,这些公司的业务其实难以开展。譬如阿里金融为代表的小额信贷公司。通过在线分析小微企业的交易数据、财务数据,甚至可以计算出应提供多少贷款、多长时间可以收回等关键问题,把坏账风险降到最低。
数据空间运营模式:从历史上,传统的IDC就是这种模式,互联网巨头都在提供此类服务。但近期网盘势头强劲,从大数据角度来看,各家纷纷嗅到大数据商机,开始抢占个人、企业的数据资源。海外的Dropbox、国内微盘都是此类公司的代表。这类公司的想象空间在于可以成长为数据聚合平台,盈利模式将趋于多元化。
大数据技术提供商:从数据量上来看,非结构化数据是结构化数据的5倍以上,任何一个种类的非结构化数据处理,都可以重现现有结构化数据的辉煌。语音数据处理领域、视频数据处理领域、语义识别领域、图像数据处理领域都可能出现大型的、高速成长的公司。
大数据统治世界
大数据正统治这个世界,主宰着一切,大数据带来的变革是方方面面的,在生活中,到处都可以看到大数据带来的变化,在商业领域,大数据带来的创新能力也超出了人们的想象,未来,大数据会带来更大的惊喜。
在大数据时代下,我们会发现,我们的生活和过去有很大的不同,不必惊慌也不必害怕,这是大数据时代带来的必然结果。当你生活的喜怒哀乐与微博结下不解之缘时,当Facebook的市值是它公司资产的数十倍时,当你在线购物习惯于看产品的评价时,蓦然回首,大数据时代已经悄然而至,在未来,不管你愿不愿意与大数据发生任何关系,它都在那里。
大数据时代,我们每个人的生活甚至任何的机构团体、商业组织都会或多或少地受到大数据的影响,那么大数据到底改变了什么?又阻碍了什么呢?
似乎每个人都喜欢探索隐藏于事情表面之后的根本原因,像是一种征服后的满足。我们习惯了知道了为什么,才这样做,同样我们认知某个问题时,总是先做出假设然后努力实验来验证我们的假想。比如,我们在商店上货时,如果我们不确切地知道男人回家的时候在买啤酒的同时不忘老婆的嘱咐给孩子买尿布湿,我们就不会不可思议地把尿布湿摆在啤酒旁边。
但是,在大数据时代,数据主宰着事实的真相,在我们对账单进行数据关联分析时,如果很大部分顾客的账单上同时出现了啤酒和尿布湿,我们就会这样做,而不是挖空心思去了解为什么。所以,在大数据时代,我们不必弄清楚为什么。我们所需要做的是通过分析关联的数据,弄清楚事物间的联系,用数据指引着我们作出决策,而不必去花费大量的时间去探寻事物背后繁芜复杂的因果关系。
在大数据时代,所有的数据将都是样本,随着科技的发展,我们有足够存储资源来存储所有的数据,我们有逐渐成熟的技术来分析这些数据间的关系。这样所做出的分析不但准确而且更全面,更有信服力。
大数据改变了很多,但它总有不利的一面。如果对于普通的人来说大数据是促进,那么对乔布斯一样的人来说,就是阻碍了。乔布斯坚定地认为普通的消费者根本不知道他们所渴望的产品的样子,所以他才能做出iPhone那样超出人们想象的产品。然而,大数据所能做的可能就是事先洞察消费者的期望。所以当人们对大数据足够依赖时,人们会沉醉于发现存在的未知和期待已知的现在,阻碍突破式的创新发展。
大数据垄断的困境与隐忧
大数据技术使得人类的态度、情绪、行为等以往认为难以测量的方面,都可以变为数据来进行分析和预测。日常生活里的可量化维度从未得到如此淋漓尽致的挖掘与利用,而数学模型也在更广泛的领域里得到了重视。以往的统计分析强调的是因果关系,而现在的大数据研究更注重相关关系。因果关系的讨论时常不够全面,而对相关关系的把握更能够产生效用。从对“为什么”的疑问到对“是什么”的追寻,这体现了人类对世界的探索和理解有了更丰富的思路。
也许最极端的结论来自全球复杂网络研究权威艾伯特-拉斯洛·巴拉巴西。在《爆发:大数据时代预见未来的新思维》一书中,他宣称人类行为的93%是可以预测的:“当我们将生活数字化、公式化以及模型化的时候,我们会发现其实大家都非常相似。我们都具有爆发式,而且非常规律。看上去很随意、很偶然,但却极其容易被预测。”“爆发”即指人们的工作、娱乐及其他种种活动都有间歇性,会在短期内突然爆发,然后又几乎陷入沉寂。人类行为并非随机的小概率事件,而是在意向作用下非常规的突变行为。
无论巴拉巴西的理论是否赢得主流的共识,这些发现至少表明,在技术以外,大数据时代向人类昭示出越来越多富有启发意义的世界观和历史观。
第一,数据的可接近性并不就使得其使用合乎伦理。大数据为监测和预示人们的生活提供了极大的方便,然而个人隐私也随之暴露在无形的“第三只眼”之下。无论是电子商务、搜索引擎还是微博等互联网服务商都对用户行为数据进行了挖掘和分析,以获得商业利益,这一过程中不可避免地威胁到普通人的隐私。以往人们认为网络的匿名化可以避免个人信息的泄露,然而大数据时代里,数据的交叉检验会使得匿名化失效。许多数据在收集时并非具有目的性,但随着技术的快速进步,这些数据最终被开发出新的用途,而个人并不知情。不仅如此,运用大数据还可能预测并控制人类的潜在行为,在缺乏有效伦理机制下有可能造成对公平、自由、尊严等人性价值的践踏。
第二,越大的数据并非总是越好的数据。对数据的盲目依赖会导致思维和决策的僵化。当越来越多的事物被量化,人们也更加容易陷入只看重数据的误区里。关于数据在何时何地有意义的争议,已经不再局限于“标准化考试是否能够衡量学生素质”之类的讨论,而是拓展到更加广阔的领域。另一方面,如果企业甚至政府在决策过程中滥用数据资料或者出现分析失误,将会严重损害民众的安全和利益。如何避免成为数据的奴隶,已经成为迫在眉睫的问题。
第三,大数据的有限接入产生新的垄断和数码沟。面对大数据,谁能接入?为何目的?在何种情境下?受到怎样的限制?数据大量积累的同时,却也出现了数据垄断的困境。一些企业或国家为了维护自己的利益而拒绝信息的流动,这不仅浪费了数据资源,而且会阻碍创新的实现。与互联网时代的数码沟问题一样,大数据的应用同样存在着接入和技能的双重鸿沟。对于数据的挖掘和使用主要限于那些具有计算机开发和使用背景的专业人士,这也就意味着谁将占据优势、谁会败下阵来,以及由此而来的面对“谁更有权力”的拷问。
进入大数据时代,数据的掌握者们是否会平等地交换数据,促进数据分析的标准化,在数据公开的同时如何与知识产权的保护相结合,不仅涉及政府的政策,也与企业的未来规划息息相关。
大数据引领数据智能时代
随着大数据时代的来临,各类智能化新生事物层出不穷。通过了解大数据的真正内涵,分析大数据的现状和面临的困境,总结大数据分析的深刻意义,我们对大数据分析的技术与方法以及大数据工作的开展给出了相关建议。
现象1:重庆市科学技术研究院成功研发的“智能公交站牌”,不仅能显示本站的公交车车次、途经地点以及首末班车时间,还能准确定位下一班车的位置信息,如距离本站的距离、站数和到达本站的时间,甚至能实时监测下一班车的拥挤程度,方便市民出行的同时为公交线路的合理规划奠定基础。随着智能公交站牌的深入人心,一款结合移动设备便携、强交互特性的生活助手类APP“车来了”应运而生。该应用可以实时查询下一班车的位置信息和拥挤程度,旨在打破在公交站台等车的局限性,彻底解决在各种恶劣天气下等待时间长、候车苦的难题,实现真正意义上的出行无忧。
现象2:针对传统教学中学生出现问题但找不到问题所在、被动学习效果越来越差、享受不到优质教学资源、羞于提问而问题越攒越多等现象,中小学优质教育资源共享平台“梯子网”按照教材版本、章节、知识点、难易程度、考试比重等多重属性对拥有的1000多万道题目进行精确定位,通过专业的在线评测结果,提供针对性的专项优化练习并给出可视化的成绩分析。该系统不仅能让学生了解自身学习的真实状况、得到优秀教师的在线答疑,还让那些贫困地区的学生享受到最优质的资源,解决了因地域限制优秀师资难以均衡流动的难题,开创了简单轻松地提高学习成绩的方法。
现象3:主打公务员考试、司法考试等成人职业资格考试的智能在线教育产品“猿题库”,提供各科目历年真题及精编模拟题,每题答案和解析均由两位业界名师编审,经过五轮严格审校;根据用户目标考试的考点、考频、难度分布和用户对各个考点的掌握情况,智能调整出题范围和难度,实现一对一智能出题;根据用户的答题情况实时生成个人能力评估报告并给出专业化做题建议,还能精确预测用户参加目标考试可能获得的分数;支持电脑、智能手机和平板电脑三种方式的在线练习,同时支持下载或打印试卷和答题卡,手机扫描答题卡就能自动实现评分、查看答案和解析。
现象4:“百度迁徙”利用百度地图LBS开放平台的定位功能,从时间和空间两个纬度全程、动态、即时、直观地展现中国春节前后人口大迁徙的轨迹与特征,通过选择日期、时刻、城市可查看“迁入城市、迁出城市”和“最热线路”等三个数据指标排名。该应用对用户位置变化时间、轨迹、省份等进行挖掘,以可视化图表的形式展示不同城市之间、不同时间段的迁移轨迹,旨在通过对大数据的创新应用服务于政府部门科学决策,赋予科学研究新的观察视角和方法工具,同时为公众创造近距离接触大数据的机会、科普数据价值。
现象5:“浪漫指数”,是百度搜索对大数据挖掘的一种新技术形态,展现了各个省份区域网民的实时搜索行为,并通过彩色搜索气泡在地图上的不断闪动显现网民不断变化的关注点。随着区域搜索浪漫词气泡的数量增多,地图颜色也会由浅至深。浪漫指数不仅展示全国各地不同特点的情人节,也可以看到网民们共同演绎的“中国式浪漫”。通过对大数据的分享,可以让更多人洞察到数据之美,意识到数据的价值,并对个人生活和企业决策提供重要的驱动作用。
现象6:“快的打车”,是一款立足于LBS的O2O打车应用,将传统出租车与乘客间的被动等待转化为主动联系。用户通过手机号和用户名进行注册,打开地图就能看到自己周边的出租车,输入目的地就能叫车,利用支付宝钱包直接支付车费。该软件为打车乘客和出租司机量身定做,乘客可以轻松发单,随时随地打车或约车;司机可以选择接单,降低空驶率。
大数据是一场生活、工作、思维的大变革,就像望远镜让我们能够感受宇宙,显微镜让我们能够观测微生物一样,大数据正在改变我们的生活以及理解世界的方式。大数据的科学应用将服务每一个人,让每个人受益无穷。
大数据驱动新的工业革命
在英国,大数据早已不仅仅是一个停留在科学论坛上被热议的新名词,越来越多的政府投入、已经运营的高校大数据研究中心、不断涌现的商业运作成果,明确地展现出英国正在开启一个新的大数据科技时代。
当国内对大数据的价值争论不休时,大数据战略部署已在他国悄悄进行。在英国,大数据早已不仅仅是一个停留在科学论坛上被热议的新名词,越来越多的政府投入、已经运营的高校大数据研究中心、不断涌现的商业运作成果,明确地展现出英国正在开启一个新的大数据科技时代。
一、政府将大数据作为“新经济增长点”
近年来,英国经济持续低迷,疲软的经济状况使得政府部门的财政支出捉襟见肘。就在这样严峻的财政背景下,英国政府更加渴望通过扶持新兴高科技技术发展,来增强国家在国际竞争中的科技硬实力,创造新的科技领先领域和经济增长点,从而带动整个经济发展。
大数据概念的提出正好符合英国政府现阶段的国家战略规划,给了英国一个带动新一代科技革命的抓手。英国大学与科学国务大臣的戴维·威利茨认为,政府加大对大数据技术的前期投资,将有助于保证大数据在科研领域的发展,构建数据分析系统和人才梯队,由此吸引民间资本的投资跟进,推进其在商业、农业等领域的积极应用,从而占据大数据时代的有利位置。
英国政府的大数据战略不仅仅是口号,更落实在行动上。2013年,英国政府投资1.89亿英镑发展大数据技术。2014年,英国政府又拿出7300万英镑投入大数据技术的开发。包括:在55个政府数据分析项目中展开大数据技术的应用;以高等学府为依托投资兴办大数据研究中心;积极带动牛津大学、伦敦大学等著名高校开设以大数据为核心业务的专业等。
与此同时,英国政府建立了有“英国数据银行”之称的data.gov.uk网站,通过这个公开平台发布政府的公开政务信息。这个平台的创建给公众提供了一个方便进行检索、调用、验证政府数据信息的官方出口。同时英国人还可以在这个平台上对政府的财政政策、开支方案提出意见建议。英国甚至渴望通过完全公布政府数据,去进一步支持和开发大数据技术在科技、商业、农业等领域的发展,扶持相关企业进行创新和研发,找出新的经济增长点来刺激本国经济的发展。
英国政府近年来通过大数据技术,在公开平台上发布各层级数据资源,并通过高效率地使用这些数据提高政府部门的工作效率,刺激其他机构在数据获取和使用上的积极性,直接或间接为英国增加了490亿至660亿英镑的收入。英国政府预测,到2017年,大数据技术可以为英国提供5.8万个新的工作岗位,并直接或间接带来2160亿英镑的经济增长。大数据的出现极大地促进了政府与相关公共机构工作方式的转变,推动了大数据相关产业链的研究和发展。在商业上有更多的可以借助其技术进行开发的新的产品类型与市场形式,进一步开放了企业的创新能力和竞争力。
二、大数据应用改变传统商业模式
大数据能够用来创造价值是因为,在当今社会中,依靠相关政经数据分析所得出的报告越来越多地成为高层管理者进行决策的重要参考。看似比“经验主义”更加科学客观的各类经济报表和技术报告,已经成为各类研究机构向决策者提供建议的重要手段,而大数据技术正好迎合了这样的需求。
在英国的零售业,这一转变表现得尤为突出。英国著名的大型连锁超市Texco在其营销系统内通过顾客的购物内容、刷卡金额等消费明细数据和利用调查问卷、客服回访等售后服务行为对每一位顾客的相关购物信息进行数据采集和整理加工。然后借助计算机和相关数学模型,对所获得的海量数据进行分析,推测顾客的消费习惯和潜在需求等内容。这样经营者就可以通过这些数据分析可能的商业卖点,针对不同顾客进行不同的推荐服务,并有的放矢开展营销活动。这样的数据应用模式已经在众多电子商务公司得到广泛应用。
英国航空为了增加营业收入,渴望通过利用乘客的消费数据来合理调配航班的运营配置,以此节约成本并探求新的消费潜力。英国航空通过与世界上知名酒店公司合作,获取相关数据库内存储的海量会员信息数据,来向乘客推荐相应的差旅住宿服务,使其感受到更好的服务质量,提高其在会员心中的品牌形象。英国航空公司积极与数据公司合作,将大数据技术应用在商业领域,预测潜在的人流物流信息,以此将数据分析结果转化成实实在在的商业利润。这样的成功案例对改变物流和运输领域的服务方式和经营思路有着指导性意义。
三、英国渴望成为大数据时代的引领者
作为工业革命的发源地,英国的科技创新能力和科学研究团队仍然在世界上首屈一指,它有着世界上最优秀的高等学府,其计算机处理能力研究、人工智能自动化、计算机软硬件开发等高科技领域专业的科研实力和成果都名列前茅。良好的科研基础和技术储备加上率先开启的大数据国家战略让英国人确实有理由相信,在新的科技革命中他们仍可占有一席之地。
2012年5月世界上首个非营利性的开放式数据研究所ODI(The Open Data Institute)在英国成立。它利用互联网技术将全世界人们提供的数据汇总到一个平台上,利用云存储等新兴技术手段达到海量存储的目的。这一平台对于融合来自不同国家、不同行业、不同类型的人们感兴趣的所有数据具有很大的帮助。同时,ODI的研究范围非常广泛,它不仅仅接收和存储数据,更重要的是面对大数据的应用展开研究。
大数据革命已经触及英国的各行各业,政府公开财政数据,研究机构纷纷成立,商业运作逐步展开,英国人已经开始拥抱大数据技术。“大数据时代将开启下一次工业革命,”英国政府内阁办公厅大臣弗朗西斯·莫德说,“两百年前的工业革命用前所未有的方式开创了历史,现在我们用大数据的形式来进行生产和提供服务同样是在创造历史”。经过了近年来的没落,当年的日不落帝国渴望在大数据时代建立他们曾经的辉煌。