“大数据”,其实并不是新的概念和现象。早在1980 年代,美国就有人提出了“大数据”的概念。30多年来,由于信息技术的进步,各个领域的数据量都在迅猛增长,美国的企业界、学术界也不断地对这个现象及其意义进行探讨。最近这一两年,“大数据”这个概念在美国变得越来越流行、越来越重要。2012年3月,美国联邦政府宣布投入2亿多美元启动大数据的研发任务,并把大数据定义为和历史上的互联网、超级计算同等重要的国家战略。之所以上升到国家战略的层面,是因为随着数据的爆炸,数据的收集、保存、维护、共享、使用等等任务,都成为横跨各个领域、牵一发而动全身的现象和挑战。但这些现象和挑战的重中之重,还是因为人类分析和使用数据的能力大幅提高,通过数据的分析、开发和整合,人类现在可以发现新的知识、创造新的价值,从而带来“大知识”、“大科技”、“大智能”、“大利润”和“大发展”。
也就是说,大数据之“大”,其侧重点并不在于其表象的“大容量”,而在于其潜在的“大价值”。大数据的意义,也远远不局限于我们当前众多新闻报道中所津津乐道的“啤酒和尿布”等等通过数据挖掘、实现精准营销的故事。我认为,大数据之所以能被称为革命性的现象,是因为它标志着我们人类社会在从信息时代、经由知识时代快速向智能时代迈进。
我们不妨举一两个例子,来说明大数据对社会形态的影响,以及对国家战略的重要性。
今年以来,一股在线教育的浪潮正在席卷美国的教育领域,一系列新型的智能网络学习平台正在成为高科技领域创新和投资的重点,其中不少新兴的创业公司已经获得了初步的成功。如著名的在线教育公司Coursera,已经和普林斯顿、伯克利、宾夕法尼亚大学等30多所大学合作,在互联网上免费开放大学课程。也就是说,如今这些学校的一些课程,可以实现全球几十万人同步学习。分布在世界各地的学习者不仅可以在同一时间实时听取同一位老师的授课,还和在校生一样,做同样的作业、接受同样的评分和考试。一些学校,甚至开始投资建设自己的智能网络学习平台,今年5月,哈佛大学与麻省理工学院就宣布,将投入6000万美元建设一个智能学习平台,并向全世界免费开放。
这种智能网络学习平台的崛起,在美国引起了广泛的关注和激烈的讨论。其中的原因,是因为这个平台已经不是一个镜头、一段录像那么简单,而是能提供“行为评价和诱导”的智能平台。例如,通过记录鼠标的点击,计算机能够记录你在一张幻灯片上停留的时间,判别你在答错一道题之后有没有回头复习,统计你在网上提问的次数、参与讨论的多少,发现不同的人对不同的知识点的不同反应,从而总结出哪些知识点需要重复或强调,哪种陈述方式或学习工具最有效等等规律。再根据这些规律和分析,对学习者的学习行为进行自动的提示、诱导和评价,以弥补没有老师面对面交流指导的不足。
这个智能学习平台之所以强大,正是因为其背后的大数据。单个个体学习行为的数据似乎是杂乱无章的,但当数据累积到一定程度时,群体的行为就会在数据上呈现一种秩序和规律。通过收集数据,分析、总结这种秩序和规律,就能通过计算机对学习者提供有效的指导和帮助。哈佛和麻省理工学院之所以向全世界免费开放它们的学习平台,目的就是想让更多的学习者在上面学习,以收集更多的数据,从而研究世界各国学习者的行为模式,进而打造出更好的智能学习平台。
这个例子,不仅说明数据正在成为创新的基础、成为一个组织的财富,同时,也表明大数据正在催生一个更加智能的社会。那么,我们又该如何理解正在迈进的这个智能型社会呢?
理解这个问题的关键在于,无论是信息、知识,还是智能,在我们这个时代,都是以数据为载体存在的。数据是对信息的客观记录,当我们对数据赋予背景时,它就成为信息;信息是知识的来源,当把信息提炼出规律的时候,它就上升为知识;知识是智能的基础,当电脑、网络能够利用某种知识作出自动判别并采取行动为我们人类工作的时候,智能就产生了。信息时代的特点是信息流动的速度快、传播的广度大,新信息随时随地可得。如果以1946年人类发明第一台电子计算机为起点,人类社会进入信息时代已经有半个多世纪。应该说,这半个多世纪以来,信息技术在不断飞速发展,我们已经超越了信息时代,进入了知识时代。知识时代的最大特点,是知识无所不在,这也已经成为现实。各种各样经过整理的结构化、系统化的信息,例如以视频为载体的课程录像,已经在互联网上广泛传播,只要有心,知识也随手可得。大数据的出现,又促使我们向智能时代迈进,智能时代的特点是,无处不在的计算机和网络将像有智商的人一样,通过自动化的决策,为人类提供服务。这个时代,管理将更加精确、智能,人与人之间的合作、任务之间的对接会更加精准,国家和社会的运行成本将会越来越低。
回到上面的例子,不难想象,这种智能化学习平台将会带来的革命性影响。学校,曾经是最重要的教育资源,好的学校更是稀缺性的资源。由于这种智能型学习平台的普及,在不远的将来,名校将人人可上,也就是说,对中国这种教育资源还相对匮乏的国家来说,如果应对得当,资源匮乏的问题可以很快得到缓解。此外,这种智能型学习平台的出现,也将给整个教育行业带来冲击和挑战,名牌大学的品牌无疑会更加突出、更受追捧,普通大学的发展空间会受到什么影响?它们会不会衰减?如果不会,又该如何来吸引学生?既然最好的视频资源可以免费获得,教师的角色又需不需要调整?如何调整?这些问题,都是需要思考和面对的挑战。
这只是大数据大潮在教育领域掀起的一朵浪花。毫不夸张地说,大数据对人类社会发展的影响将是方方面面、难以估量的,任何一个行业都将受到大数据带来的冲击和影响。我们再以时下另外一个热门名词“智慧城市”为例。近几年来,国内外都兴起了建设智慧城市的浪潮。据国内智慧城市的领军公司——神州数码董事局主席郭为先生介绍:目前,国内有60多个城市已经将建设智慧城市纳入了“十二五”规划,智慧城市将成为拉动下一轮中国经济增长的重要动力。但从一个更高的角度来看,智慧城市的建设问题,其实是一个城市的大数据综合治理问题:一是要在以前没有收集数据的地方收集更多的数据,这主要是利用物联网的技术;二是要让不同系统的数据准确地对接起来,这是系统整合的任务;最后,还要利用数据可视化的技术把海量数据中隐藏的知识揭示、展示出来,让数据中的智慧能够以一种直观的形式流向城市的管理者、决策者和市民大众。作为国内智慧城市理念最有力的推动者,郭为先生还指出,智慧城市的建设,是在用信息技术解决社会治理中的难题,提高人民的幸福指数,这又证明,大数据的应用和价值,远远不是商业领域这么简单。
除了加速企业创新,引领新的经济繁荣,大数据还可以成为启动透明政府的利器。这些也是我在《大数据:正在到来的数据革命》一书中着墨较多的地方。世界知名的管理咨询大师达文波特,曾向我提及,中国的政府和企业在很多领域都有雄心勃勃的计划,这引起了全球的关注,这些雄心和计划,现在应该拓进到大数据的领域。这也是我写作的初衷。新年将至,我希望中国社会尽快制定和大数据相关的政策,出台具体的措施,从而抓住历史的机遇、推动社会的发展和进步。
2013年,我希望是中国社会的大数据年。