大数据无疑是2012年最火的高科技词汇,但鲜有关于企业如何利用大数据的信息。最近,ZDNet美国记者采访了福特(Ford)公司——一家以大量数据为驱动并且数据丰富的公司,谈一谈关于这家复兴的美国汽车制造商如何在真实世界中利用大数据分析,以及大数据将在未来带来的各种可能性。
福特公司的大数据分析负责人名叫John Ginder,他在福特研究中心(Ford Research)管理着系统分析和环境科学(Systems Analytics and Environmental Sciences)团队。Ginder表示,福特公司在2000年中期濒临破产的经历,以及2006年首席执行官Alan Mulally的上任,改变了这家老牌汽车公司向一家数据公司的发展,他们拥有大量可用于为消费者、普通大众以及福特公司自身带来价值和利益的数据。
危机与机遇
福特公司大数据分析负责人John Ginder
Ginder表示:“过去十年,我们经历了一个非常困难的时期,当时我们失去了近半数的员工,整个公司濒临灭亡。这促使着人们以不同的视角思考问题,考虑一些以前我们没有考虑过的问题。我们更愿意考虑分析型的解决方案、模拟以及一些创新方法。这使得我们受益匪浅。”
早在20世纪90年代,福特公司就已经开始认真考虑是否使用分析工具,当时服务器和存储越来越偏移,很多华尔街的公司都在向世界展示利用数据建模可以实现什么。福特公司内部开始出现各种分析小组,包括后来成为Ginder研究中心的小组、市场部单独的小组、福特信贷(Ford Credit)部门的小组。
尽管如此,所有这些分析小组都把精力集中在一些非常具体的任务上,例如福特信贷部门的风险分析,或者像研究中心那样做更为抽象的科学工作,而且这些都被称之为核心的业务驱动力。但是接下来,福特“濒临死亡”的经历“帮助打开了人们的思想,并制造了恐慌感”,Ginder这样回忆到。他说,福特公司高层开始互相问,“我们做什么?好吧,来问问这些人。”这让分析技术有机会走进福特并扮演重要的角色。
与此同时,另一个因素开始发挥作用——新任CEO的到来。
Ginder表示:“2006年Alan Mulally来到福特,每周他都要与手里拿着各种图表的直接汇报人开会,‘如何达到我们的目标?从量上来说,我们达到既定的标准了吗,还是没有达到,没有达到的话理由是什么?’这样层层细化,鼓励公司内部这样一种数据驱动的方法。”
福特的大数据
现在,分析已经深入福特公司的文化当中,大数据分析的兴起,为这家汽车制造商带来了全新的机遇。
Ginder表示:“我们认识到自己内部所产生的大量数据,从业务运营、到车辆研究再到我们客户在互联网上存的数据——所有这些东西对于我们来说都是巨大的机会,可能要求一些新的专门的技术或者平台来进行管理。我们的研究机构正在师徒使用Hadoop,尝试将所有这些数据来源结合起来。我们意识到,我们只是触到了冰山的一角。”
谈到大数据,福特公司的另一项重要资产就是该公司正在追踪生产开发环节和产品本身的大量有用数据。
他指出:“我们的生产基地安装了一流的仪器,我们的车辆经过良好的检测,并且一直处于闭合的控制系统中,每辆车都有很多传感装置……到目前为止,大多数信息都还只是在车辆中的,但是我们考虑是否有可能获取这些数据,更好地了解汽车运转的状态,消费者使用汽车的方法,并且将这些信息反馈到我们的设备流程中,帮助优化用户的体验。”
当然,大数据包括很多,不仅仅是利用大多数公司都试图掌控的各种数据来源。大数据是关于结构化和非结构化数据,结构化数据是大多数公司数据库(以及福特公司所说的,在车辆内部和装配生产线上安装的传感器)中的传统数据,非结构化数据是在互联网上可以自由获得的数据,从像美国data.gov网站上暴露的公共数据,到Twitter上的消费者数据。将两者融合,再加上分析,这就是大数据。
Ginder表示:“大数据的基本设想是,数据的量只增不减,我们能够以新的方式将外部数据与我们自己的内部数据结合起来,更好地预测或者获得对于生产设计的更好洞见,这其中有很多很多机会。”
福特还尝试着挖掘非结构化数据在消费者智能方面的信息。Ginder表示:“我们认识到,在互联网上的数据对于了解我们的客户或者潜在客户所想所需以及他们的态度是非常有帮助的,这样我们可以做一些围绕互联网上的博客文章、评论和其他类型内容的情感分析。”
这种事是很常见的,很多财富500强企业都在做着类似的事情。然而,有另一种方式,福特公司正在利用来自网络和自身的非结构化数据来影响该公司对于未来车辆销售的预测。
Ginder解释说:“我们利用Google Trends工具,它可以衡量搜索词的普及程度,以帮助告知我们自己内部的销售预测,再加上我们自己的内部数据,可以进一步完善这一预测。这是对于我们销售预测的一种补充。以前,我们只是看上周出售的情况,现在加上了搜索字词的流行度……这样我们仍然只是浮于表面,我认为未来我们还有更多的事情要做。”
大数据仍然需要更好的工具
之所以福特认为他们只是触及到了大数据的表面,那是因为相关的工具仍处于初期阶段。尽管2012年关于大数据的讨论热烈一场,但是仍然很少有交钥匙的商业工具来帮助大公司做到这一点。Ginder和他的小组主要依赖于像Hadoop这样的开源工具来管理大量数据集,用R Project做数据分析,以及其他一些开源应用做数据挖掘和文本挖掘。
虽然这些类型的工具是非常强大并且是可扩展的,但还需要技术娴熟、训练有素的数据库专业人士和程序员来操作它们。大数据的另一个承诺是,非技术人员最终将能够利用自然预言工具来访问这些庞大的数据集。这些未来的“数据科学家”并不一定需要知道如何将SQL查询串在一起,但是他们更像是业务分析师,知道如何提出关键的问题,以便及时发现数据的价值所在,来调整企业思考问题的方式。
然而,Ginder认为这是一种未来的状态,还有数步之遥。“我很期待我们最终能都到这么美好的一天。但现在我们还没有足够的能力、没有足够的工具来实现这个目标。我们有自己的专家致力于研究相关的工具,开发我们自己的使用场景并应用到特定问题中。但这是一种我们希望达到的未来的状态,数据科学家——而不是计算机科学家——会介入并寻找可能以前的关联,这是一个美好的蓝图,但是我们现在还做不到。”
但好消息是,一旦开发出了相关工具,福特公司将步入大数据的新时代,Ginder很愿意看到福特公司与更大型的团体分享数据。
他说:“我们需要让这个团体中的每个人都可以访问这些数据和工具,当然,其中一些数据是专有的,可一旦它在我们手中,我认为我们会发现一些以前没有想象过、可能比开始设想得更有利更重要的应用或者用途。我相信,这将为我们带来巨大的新机遇。”
在这一点上,Ginder估计一旦大数据工具就绪,福特公司将在大数据方面有所作为。
“我们将越来越多地接收来自车辆摄像机的数据……还有什么是我们可以利用[相机中的]数据能做的,我们能够将高比特率的数据与其他类型传感器信号结合起来帮助告知各类应用。现在我们已经在车辆上安装了传感器,获得温度、压力、适度、局部污染物浓度(排气管排出物),除此之外我们还可以怎么利用这些传感器。这对我们来说是一个有待开发的领域。你能更好地进行天气预报吗?你能更好地预测交通情况吗?你能帮助哮喘患者远离某些地区吗?你能控制车内气流吗?”
在这一点上,不难看出为什么像Ginder这样痴迷大数据的人,会对大数据分析的未来充满激情,即使现在我们仍然在蹒跚学步的阶段。
Ginder说:“以前我们从来没有得到过这些数据,也不具备足够的计算能力来处理这些数据,杀手级应用也许是我们还没有真正参与其中的原因之一。”