爱吧机器人网 » 技术 > 大数据 > 正文

中国大数据行业面临的五大挑战以及应对策略

2012年美国大选,奥巴马因数据整合而受益。在奥巴马的竞选团队中有一个神秘的 数据挖掘 团队,他们通过对海量数据进行挖掘帮助奥巴马筹集到10亿美元资金;他们通过 数据挖掘 使竞选广告投放效率提升了14%;他们通过制作“摇摆州”选民的详细模型,每晚实施6.6万次模拟选举,推算奥巴马在“摇摆州”的胜率,并以此来指导资源分配。奥巴马竞选团队相比罗姆尼竞选团队最有优势的地方:对 大数据 的整合。奥巴马的 数据挖掘 团队也意识到这个全世界共同的问题:数据分散在过多的数据库中。因此,在前18个月,奥巴马竞选团队就创建了一个单一的庞 大数据 系统,可以将来自民意调查者、捐资者、现场工作人员、消费者数据库、社交媒体,以及“摇摆州”主要的民主党投票人的信息整合在一起,不仅能告诉竞选团队如何发现选民并获得他们的注意,还帮助数据处理团队预测哪些类型的人有可能被某种特定的事情所说服。正如竞选总指挥吉姆·梅西纳所说,在整个竞选活中,没有数据做支撑的假设很少存在。

2012年3月,美国奥巴马政府宣布投资2亿美元启动“ 大数据 研究和发展计划”,将“ 大数据 研究”上升为国家意志。一个国家拥有数据的规模和运用数据的能力将成为综合国力的重要组成部分。国内 智慧城市 建设目标之一就是实现数据的集中共享。

因此,从社会、国家领域而言,我国亟须在国家层面对 大数据 给予高度重视,特别需要从政策制定、资源投入、人才培养等方面给予强有力的支持;另一方面,建立良性的 大数据 生态环境是有效应对 大数据 挑战、用好 大数据 的主要出路,需要 科技 界、工业界以及政府部门在国家政策的引导下共同努力,通过消除壁垒、成立联盟、 大数据 质量标准、建立专业组织等途径,建立和谐的 大数据 生态系统。

力推合作共赢的商业模式

随着 云计算 、 大数据 技术和相关商业环境的不断成熟,越来越多的“软件开发者”正在利用跨行业的 大数据 平台,打造创新价值的 大数据 应用,而且这一门槛正在不断降低。因为首先,数据拥有者能够以微乎其微的成本获取额外的收入,提高利润水平;其次, 大数据 设备厂商需要应用来吸引消费者购买设备,发展合作共赢的伙伴关系势必比单纯销售设备要有利可图,一些具有远见的厂商已经开始通过提供资金、技术支持、入股等方式来扶持这些“软件开发者”;第三,行业细分市场的 数据分析 应用需求在不断加大,对于整个 大数据 产业链来说,创新型的行业数据应用开发者必将是未来整个 大数据 产业链中最为活跃的部分。

未来,有三种企业将在” 大数据 产业链“中处于重要地位:掌握海量有效数据的企业,有着强 大数据 分析能力的企业,以及创新的“软件开发者”。社交网络、移动 互联网 、信息化企业、电信运营商都是海量数据的制造者,Facebook公司手中掌握着8.5亿用户,淘宝注册用户超过3.7亿,腾讯的微信用户突破3亿,这些庞大用户群所提供的数据,正在等待时机释放出巨大商业能量。可以预测,在不久的将来,Facebook、腾讯、电信运营商等海量数据持有者或者自我延伸成为 数据分析 提供商,或者与IBM、ZTE等企业密切对接成为上下游合作企业, 大数据 产业链将在某个爆发时点到来之际,以令人惊讶的速度成长壮大。

大数据 的杀伤力 需防患于未然

大数据 时代,传统的随机抽样被“所有数据的汇拢”所取代,人们的思维决断模式,已可直接根据“是什么”来下结论,由于这样的结论剔除了个人情绪、心理动机、抽样精确性等因素的干扰,因此将更精确、更有预见性。不过,由于 大数据 过于依靠数据的汇集,一旦数据本身有问题,就很可能出现“灾难性 大数据 ”,即因为数据本身的问题,而导致错误的预测和决策。

大数据 的理论是“在稻草堆里找一根针”,而如果“所有稻草看上去都挺像那根针”呢?过多但无法辨析真伪和价值的信息和过少的信息一样,对于需要作出瞬间判断、一旦判断出错就很可能造成严重后果的情况而言,同样是一种危害。“ 大数据 ”理论是建立在“海量数据都是事实”的基础上,而如果数据提供者造假呢?这在 大数据 时代变得更有害,因为人们无法控制数据提供者和搜集者本人的偏见。拥有最完善数据库、最先接受“ 大数据 ”理念的华尔街投行和欧美大评级机构,却每每在重大问题上判断出错,这本身就揭示了“ 大数据 ”的局限性。

不仅如此, 大数据 时代造就了一个数据库无所不在的世界,数据监管部门面临前所未有的压力和责任:如何避免数据泄露对国家利益、公众利益、个人隐私造成伤害?如何避免信息不对等,对困难群体的利益构成伤害?在有效控制风险之前,也许还是让“ 大数据 ”继续待在笼子里更好一些。

大数据 的经济价值已经被人们认可, 大数据 的技术正逐渐成熟,一旦完成数据的整合和监管, 大数据 爆发的时代即将到来。我们现在要做的,就是选好自己的方向,为迎接 大数据 的到来,提前做好准备。

以未来的视角看,无论是政府、 互联网 公司、IT企业还是行业用户,只要我们以开放的心态、创新的勇气拥抱“ 大数据 ”, 大数据 时代就一定有属于中国的机会。

大数据 人才培养 迫在眉睫

大数据 相关人才的欠缺将会成为影响 大数据 市场发展的一个重要因素。据Gartner预测,到2015年,全球将新增440万个与 大数据 相关的工作岗位,且会有25%的组织设立首席数据官职位。 大数据 的相关职位需要的是复合型人才,能够对数学、统计学、 数据分析 、 机器学习 和 自然语言 处理等多方面知识综合掌控。未来, 大数据 将会出现约100万的人才缺口,在各个行业和领域, 大数据 中高端人才都会成为最炙手可热的人才,涵盖了 大数据 的工程师、规划师、分析师、架构师、应用师等多个细分领域和专业。因此需要社会、高校和企业共同努力去培养和挖掘。企业可以与学校联合培养人才,或建立专门的数据科学家团队,或与专业的数据处理公司合作,以解人才之急。

上一页1234下一页

上一篇:埃森哲:89%高管认为大数据将彻底改变做生意方式
下一篇:大数据催生新兴职业 数据分析师成IT界“大熊猫”
精选推荐
九台“猎豹”机器人组队踢球,麻省理工高材生们的高级趣味
九台“猎豹”机器人组队踢球,麻省理工高材生们的高级趣味

[2019-11-09]  本周,在麻省理工学院10号楼外草坪上展开了一场别开生面的足球比赛。在绿草如茵的基利安球场上,一群由人工智能驱动的机器人就是这场比赛的 ...

受大脑控制的机器人
受大脑控制的机器人

[2017-03-21]   想让机器人做我们想做的,首先,他得全面地了解我们。通常,这就意味着人类需要要付出更多。比如,教机器人复杂的人类语言或者把一项任务 ...

智能农业:种地的事儿未来全交给这些机器人吧
智能农业:种地的事儿未来全交给这些机器人吧

[2019-12-07]  SRC公司创始人Sam与温波尔庄园农场经理Callum Weir以及监控机器人Tom总部位于英国的农业科技初创公司SRC(Small Robot Company),正在 ...

麻省理工正研究植物机器人 让植物自主控制机器人
麻省理工正研究植物机器人 让植物自主控制机器人

[2018-12-08]  控制论通常指人类用机器人部件增强自己。我们听说过动物机器人或昆虫机器人,但我们很少听说植物机器人对吧?一个机器人其实是对植物有很大益处的,因为一般植物根本无法移动......

人工智能准确预测患者一年内的死亡风险,原理却无法解释
人工智能准确预测患者一年内的死亡风险,原理却无法解释

[2019-11-13]  图片来自BURGER PHANIE SCIENCE PHOTO LIBRARY美国最新研究显示,人工智能通过查看心脏测试结果,以高达85%以上的准确率预测了一个人在一 ...

2017年:AI渗入云端
2017年:AI渗入云端

[2017-12-29]  云中的人工智能不仅仅是科技巨头的权力游戏,它也可能是人工智能领域的下一个飞跃。加利福尼亚州的Rigetti Computing公司刚刚使用其原型量子芯片之一在其云平台上运行机器学......

麻省理工最新机器人“装配工”未来可建造太空基地
麻省理工最新机器人“装配工”未来可建造太空基地

[2019-10-17]  两个机器人原型把一系列小单元组装成大结构体麻省理工学院科研人员最近提出一种新型机器人技术,即一种小型机器人系统,能够自主地用统一规 ...

苹果AI主管透露自动驾驶汽车项目关于机器学习方面的进展
苹果AI主管透露自动驾驶汽车项目关于机器学习方面的进展

[2017-12-11]  苹果隐秘的自动驾驶汽车项目多年来一直在转移焦点,但今年似乎正在加速。 4月份,公司获得了在加利福尼亚州进行自动驾驶汽车测试的许可证,而在6月份,苹果公司首席执行官库......

本周栏目热点

[1970-01-01]   这可能是未来最具发展潜力的职业之一,我们从职场角度为你解读如何成为 大数据 工程师,以及它的职业发展 ...

从Facebook社交媒体情绪实验看大数据道德困境

[1970-01-01]   今年曝光的Facebook私自进行社交媒体用户情绪实验的新闻引起了不小的争议,这把很多数据实验卷入到社会 ...

大数据时代的美国隐私权保护制度

[1970-01-01]   2014年5月,美国总统执行办公室(Executive Office of the President)发布2014年全球大数据白皮书 ...

那些年,曾经被我们误读的大数据

[1970-01-01]   如今,业界和学术界一直在热议大数据,不管是学术圈还是IT圈,只要能谈论点儿大数据就显得很高大上。然 ...

未来农业将在田里处理大数据

[1970-01-01]   基普·汤姆(Kip Tom)是第7代家庭农场主,他的农场种植的主要农作物是玉米和大豆,他同时也在进行玉 ...