在“芯动大数据 智领大机遇”—— 英特尔大数据论坛上,IDC企业系统与软件研究组高级研究经理周震刚预测大数据市场趋势时表示,开源的Hadoop将迈向商业化,但部分早期的Hadoop项目会面临挑战。
他表示,大象(Hadoop)会和企鹅跑的一样快,甚至可能跑得更快。他预测说,到2013年,甚至今年就会形成主流商业化打包产品推向市场。
IDC企业系统与软件研究组高级研究经理周震刚
开始于2006年的Hadoop开源项目,于2009年逐步商业化。周震刚表示,开源的Hadoop已经明显商业化,和企鹅(linux)非常相似,企鹅从项目开始和社区成立,到主流厂商用于商业化,总共也是经历3-4年时间。
Hadoop和Linux发展比较
据IT专家网了解,目前Hadoop项目比比皆是,无论英特尔、IBM、EMC、NetApp这样的主流基础架构厂商,还是Teradata、微软、SAP、Oracle等应用软件厂商,都推出支持Hadoop或者基于Hadoop的产品线,以应对大数据时代的到来。
IDC全球大数据市场规模与预测
大数据的特征是“4V”,即高容量(Volume)、多样化(Variety)、持续性(Velocity)、高价值(Value),涉及四个层面:基础架构、数据管理、分析挖掘、决策支持。对此,IDC给出了自己的定义:为了更为经济的从高频率获取的、大容量的、不同结构和类型的数据中获取价值,而设计的新一代架构和技术。
据IDC的预测,全球大数据市场2015年将达170亿美元规模,市场发展前景很大。而所谓新一代的架构和技术,Hadoop的HDFS文件系统和MapReduce框架,因为有利于并行分布处理 “大数据”而受青睐。
然而,开源的Hadoop,在安装和部署方面存在难题,因此催生了商业化。
不过,对于Hadoop的商业化,周震刚也表示,这是一个优胜劣汰的过程,早期的部分Hadoop项目将会遇到挑战。能否不被淘汰,取决于三个方面:项目是否能够被推广并广泛采用,项目在实施初期是否有相关使用案例,以及项目的开发是否应用在适合的场景?
总体说来,IDC关于大数据市场的10下预测如下:
1、 Hadoop迈向商业化
2、 部分早期的Hadoop项目面临挑战
3、 开源软件带来更多相关市场机会
开源软件提供了很多解决问题的技术思路,并且完全免费使用,成本优势十分明显,但周震刚做了一个比喻:水是免费的,但为何很多人买瓶装水呢?
4、 大数据推动软件公司间的并购
没有任何企业可以包容整个市场,大公司为了增强实力必然并购新生的小公司。
5、 针对大数据的Appliance市场迅速增长
包括Data Warehouse Appliance,NoSQL Appliance,和多种技术结合的Appliance。
6、 大数据由网络数据处理走向企业级应用
目前的大数据技术主要应用于GooGle、Facebook、腾讯、百度、中移动、中联通这样的互联网或通信运营巨头,但周震刚表示,用户将逐步了解大数据并不仅仅指处理网络数据,而行业对大数据处理的需求也会增加,包括数据流监测和分析。
7、 大数据创造新的细分市场
包括:数据分析作为服务产品提交;数据代理这样的高级数据服务;整合多种信息管理,访问和分析组建的统一的信息访问和分析产品;社交分析;大数据培训市场。
8、 打包的大数据行业分析应用出现
在行业方面,将出现打包的分析应用,特定行业和业务流程分析应用等,将为大数据技术提供商打开新的实测,这些应用程序内容将包含行业专业知识。
9、 大数据推动基础架构向Scale-out发展
大数据需要分布式的方式更加有效地处理,传统的向上扩展架构更加适合处理结构化数据和关系型数据库,大数据的处理需要横向扩展的基础架构。
10、 中国成为全球最重要的大数据市场之一
拥有13.4亿人口的中国,截止2011年的5.1亿互联网用户数和3.5亿移动互联网用户数,都是世界第一,而中国服务器和存储出货量也是世界第二,这意味着巨大的潜在市场。而因为中国的用户和数据规模,周震刚表示,中国的大数据解决方案,一定可以放到世界上任意国家使用,但国外的成熟产品,不一定能适合中国市场。