2003 年谷歌大数据“三驾马车”论文发表，至今，大数据技术已经成为各大企业尤其是互联网企业的基础设施。十几年中，早期 Hadoop 的大力发展、中期 Kafka、Spark 的异军突起以及现在 Flink 的强势突围，不仅推动大数据成为了企业应用的关键组件，同时为机器学习 AI 技术的发展提供了强有力的保障。大数据促进了人工智能技术的革新，大数据、深度学习使得人工智能在广泛的领域都获得了突破性进展。
人工智能主要有三个分支
1.依据规则的人工智能；
2.无规则，计算机读取大量数据，依据数据的计算、概率剖析等方法，进行智能处理的人工智能；
3.依据神经元网络的一种深度学习。
大数据发掘与人工智能技能相辅相成，互相影响。大数据分为“结构化数据”与“非结构化数据”。“结构化数据”是指企业的客户信息、运营数据、销售数据、库存数据等，存储于普通的数据库之中，专指可作为数据库进行管理的数据。相反，“非结构化数据”是指不存储于数据库之中的，包括电子邮件、文本文件、图画、视频等数据。
现在，非结构化数据激增，企业数据的80％左右都对错结构化数据。跟着交际媒体的鼓起，非结构化数据更是迎来了爆发式添加。复杂、海量的数据通常被称为大数据。
每个企业在经营过程中都会产生大量的数据，随着数据资源的不断积累，数据管理和治理也将成为企业思考的重要问题。
2020年，将会有更多企业加入到寻求通过AI技术实现数据管理的行列中来。基于AI的数据管理，通过机器学习模型，结合研发与运维等操作过程中的元数据，自动化创建数据质量规则，提供问题精准定位、监控预警等能力，从而免去许多手动任务操作过程。
有机构预测，在2022年底之前，通过机器学习和和自动化服务管理技术，数据管理的手动任务将会减少45%。
现在，大量数据发生之后，有低成本的存储器将其存储，有高速的CPU对其进行处理，所以才有了人工智能后两个分支的理论得以实践。由此，人工智能就能做出挨近人类的处理或许判别，提高精准度。同时，选用人工智能的服务作为高附加值服务，成为了获取更多用户的主要因素，而不断添加的用户，发生更多的数据，使得人工智能进一步优化。
大数据经历了较长时间的发展，目前已经进入了稳步的发展时期，主流的大数据计算框架已经成型，越来越多的基于这些主流框架的精细化上层应用会成为一个趋势。此外机器学习、AI 的持续发展反过来也在推动大数据的规模、实时性以及平台化的发展。越来越多的企业构建起端到端的大数据机器学习平台以提高大数据 AI 落地效率，各大云厂商更是构建出此类一体化产品希望能够收获更多的客户和收益。
