2012年美国大选,奥巴马因数据整合而受益。在奥巴马的竞选团队中有一个神秘的 数据挖掘 团队,他们通过对海量数据进行挖掘帮助奥巴马筹集到10亿美元资金;他们通过 数据挖掘 使竞选广告投放效率提升了14%;他们通过制作“摇摆州”选民的详细模型,每晚实施6.6万次模拟选举,推算奥巴马在“摇摆州”的胜率,并以此来指导资源分配。奥巴马竞选团队相比罗姆尼竞选团队最有优势的地方:对 大数据 的整合。奥巴马的 数据挖掘 团队也意识到这个全世界共同的问题:数据分散在过多的数据库中。因此,在前18个月,奥巴马竞选团队就创建了一个单一的庞 大数据 系统,可以将来自民意调查者、捐资者、现场工作人员、消费者数据库、社交媒体,以及“摇摆州”主要的民主党投票人的信息整合在一起,不仅能告诉竞选团队如何发现选民并获得他们的注意,还帮助数据处理团队预测哪些类型的人有可能被某种特定的事情所说服。正如竞选总指挥吉姆·梅西纳所说,在整个竞选活中,没有数据做支撑的假设很少存在。
2012年3月,美国奥巴马政府宣布投资2亿美元启动“ 大数据 研究和发展计划”,将“ 大数据 研究”上升为国家意志。一个国家拥有数据的规模和运用数据的能力将成为综合国力的重要组成部分。国内 智慧城市 建设目标之一就是实现数据的集中共享。
因此,从社会、国家领域而言,我国亟须在国家层面对 大数据 给予高度重视,特别需要从政策制定、资源投入、人才培养等方面给予强有力的支持;另一方面,建立良性的 大数据 生态环境是有效应对 大数据 挑战、用好 大数据 的主要出路,需要 科技 界、工业界以及政府部门在国家政策的引导下共同努力,通过消除壁垒、成立联盟、 大数据 质量标准、建立专业组织等途径,建立和谐的 大数据 生态系统。
力推合作共赢的商业模式
随着 云计算 、 大数据 技术和相关商业环境的不断成熟,越来越多的“软件开发者”正在利用跨行业的 大数据 平台,打造创新价值的 大数据 应用,而且这一门槛正在不断降低。因为首先,数据拥有者能够以微乎其微的成本获取额外的收入,提高利润水平;其次, 大数据 设备厂商需要应用来吸引消费者购买设备,发展合作共赢的伙伴关系势必比单纯销售设备要有利可图,一些具有远见的厂商已经开始通过提供资金、技术支持、入股等方式来扶持这些“软件开发者”;第三,行业细分市场的 数据分析 应用需求在不断加大,对于整个 大数据 产业链来说,创新型的行业数据应用开发者必将是未来整个 大数据 产业链中最为活跃的部分。
未来,有三种企业将在” 大数据 产业链“中处于重要地位:掌握海量有效数据的企业,有着强 大数据 分析能力的企业,以及创新的“软件开发者”。社交网络、移动 互联网 、信息化企业、电信运营商都是海量数据的制造者,Facebook公司手中掌握着8.5亿用户,淘宝注册用户超过3.7亿,腾讯的微信用户突破3亿,这些庞大用户群所提供的数据,正在等待时机释放出巨大商业能量。可以预测,在不久的将来,Facebook、腾讯、电信运营商等海量数据持有者或者自我延伸成为 数据分析 提供商,或者与IBM、ZTE等企业密切对接成为上下游合作企业, 大数据 产业链将在某个爆发时点到来之际,以令人惊讶的速度成长壮大。
大数据 的杀伤力 需防患于未然
大数据 时代,传统的随机抽样被“所有数据的汇拢”所取代,人们的思维决断模式,已可直接根据“是什么”来下结论,由于这样的结论剔除了个人情绪、心理动机、抽样精确性等因素的干扰,因此将更精确、更有预见性。不过,由于 大数据 过于依靠数据的汇集,一旦数据本身有问题,就很可能出现“灾难性 大数据 ”,即因为数据本身的问题,而导致错误的预测和决策。
大数据 的理论是“在稻草堆里找一根针”,而如果“所有稻草看上去都挺像那根针”呢?过多但无法辨析真伪和价值的信息和过少的信息一样,对于需要作出瞬间判断、一旦判断出错就很可能造成严重后果的情况而言,同样是一种危害。“ 大数据 ”理论是建立在“海量数据都是事实”的基础上,而如果数据提供者造假呢?这在 大数据 时代变得更有害,因为人们无法控制数据提供者和搜集者本人的偏见。拥有最完善数据库、最先接受“ 大数据 ”理念的华尔街投行和欧美大评级机构,却每每在重大问题上判断出错,这本身就揭示了“ 大数据 ”的局限性。
不仅如此, 大数据 时代造就了一个数据库无所不在的世界,数据监管部门面临前所未有的压力和责任:如何避免数据泄露对国家利益、公众利益、个人隐私造成伤害?如何避免信息不对等,对困难群体的利益构成伤害?在有效控制风险之前,也许还是让“ 大数据 ”继续待在笼子里更好一些。
大数据 的经济价值已经被人们认可, 大数据 的技术正逐渐成熟,一旦完成数据的整合和监管, 大数据 爆发的时代即将到来。我们现在要做的,就是选好自己的方向,为迎接 大数据 的到来,提前做好准备。
以未来的视角看,无论是政府、 互联网 公司、IT企业还是行业用户,只要我们以开放的心态、创新的勇气拥抱“ 大数据 ”, 大数据 时代就一定有属于中国的机会。
大数据 人才培养 迫在眉睫
大数据 相关人才的欠缺将会成为影响 大数据 市场发展的一个重要因素。据Gartner预测,到2015年,全球将新增440万个与 大数据 相关的工作岗位,且会有25%的组织设立首席数据官职位。 大数据 的相关职位需要的是复合型人才,能够对数学、统计学、 数据分析 、 机器学习 和 自然语言 处理等多方面知识综合掌控。未来, 大数据 将会出现约100万的人才缺口,在各个行业和领域, 大数据 中高端人才都会成为最炙手可热的人才,涵盖了 大数据 的工程师、规划师、分析师、架构师、应用师等多个细分领域和专业。因此需要社会、高校和企业共同努力去培养和挖掘。企业可以与学校联合培养人才,或建立专门的数据科学家团队,或与专业的数据处理公司合作,以解人才之急。