世界经历过工业革命，现在我们正处于数字革命的时代。机器学习、人工智能和大数据分析是当今世界的现实。
我最近有机会与Talend副总裁CiaranDynes以及Datalytyx主管JustinMullen交谈。Talend是一家软件集成供应商，主要为企业提供大数据解决方案，而Datalytyx是大型数据工程、数据分析和云解决方案业务的领先提供商，其提供的服务能够让企业运营更快、更有效、更有利润。
大数据运营的演变
为了更深入地了解大数据运营的演变，我询问了JustinMullen五年前面临的挑战，以及他们为什么要需求现代化的集成平台。他回应道，“我们面临着与客户类似的挑战。”在大数据分析之前，我们都面临着类似的问题
他回应道，“我们面临着与客户面临的类似挑战。”在大数据分析之前，这就是我所说的“数据分析困境”。在很大程度上，关于数据的分析主要是基本系统的手工聚合和数据处理。然后，我们可能面临的最大挑战是，在应用不同的分析算法来分析原始数据并以有意义的方式可视化结果之前，如何对数据进行归纳和管理，从而捋顺业务关系。”
他进一步补充说，“我们的客户希望的不仅仅是进行一次分析，而且还希望在几个月和几年的时间里，不断刷新KPI性能。”在手工数据工程实践中，我们很难满足客户的要求，而这正是我们决定需要一个可靠、可靠的数据管理平台来解决这些挑战的时候。
数据科学的出现
大多数经济学家和社会科学家都对正在替代制造业和商业的自动化技术感到担忧。如果数字化和自动化继续以同样的速度增长，机器有很大的可能取代人类。当今世界我们已经看到了一些类似现象，但在未来这种情况会更加突出。
然而，Dynes说，“数据科学家正在为今天不同领域的复杂问题提供解决方案。”他们利用数据分析中的有用信息来理解和解决问题。数据科学是一种输入，输出则是自动化。机器自动化，但人类提供必要的输入来获得想要的输出。
这就为人工以及机器服务的相关需求创造了一个平衡。自动化和数据科学都是并行的。一个过程中没有另一个过程是不完整的。如果不能通过操控来产生有意义的结果，原始数据就没有任何意义;同样，如果没有足够的相关数据，机器学习就无法实现。
将大数据整合到商业模式中
Dynes说：“企业正在意识到数据的重要性，并将大数据和机器学习解决方案纳入他们的商业模式。”他进一步补充道，“我们看到自动化正在发生。”这在电子商务和制造业领域很明显，而在移动银行和金融领域也有着巨大的应用前景。”
当我问及他对于机器学习过程和平台需求转变的看法时，他补充说，“需求一直都存在。”数据分析一直至关重要。唯一的不同是，5年前，企业垄断了数据，数据总是被秘密存储起来。“谁拥有这些数据，谁就拥有权力，只有少数几家知名的市场参与者能够获得数据。”
Justin曾与不同的公司合作过。其中一些知名客户包括CalorGas,Jaeger以及Wejo。在谈到这些公司在实施高级数据分析或机器学习之前所面临的挑战时，他说，“我的大多数客户面临的最大挑战是在一处积累的关键数据，让复杂的算法可以同时运行，从而显现出更好的分析结果。”数据分析要有连续性，而不是一次性的，这至关重要。”
快速数字化的原因
Dynes说：“由于两个主要原因，我们正在经历快速的数字化。”“在过去的几年里，这种技术的发展速度呈指数级增长。其次，组织文化已经发生了巨大的变化。”他补充说，“随着开放源代码技术和云平台的出现，数据现在更容易获龋”“现在越来越多的人获得了信息，他们正在利用这些信息来获取利益。”
除了技术方面的进步和发展，“进入职场的新一代也依赖于科技。”他们严重依赖科技来完成日常工作。他们对透明交流持更加开放的态度。因此，收集这代人的数据比较容易，因为他们已经准备好讨论自己的观点和偏好。他们已经准备好提问和回答不可能的问题了，”Dynes说。
当谈到公司在选择大数据分析解决方案时所面临的挑战时，Mullen补充道：“在使用机器学习的同时，行业目前面临的挑战是双重的。他们面临的第一个挑战是数据收集、数据整理、数据管理（质量）和数据聚合。第二个挑战是，在数据工程、高级分析和机器学习方面，对抗人类技能的匮乏。
“你需要把新世界和旧世界融合在一起。”旧世界严重依赖大数据收集，而新世界则主要关注实时数据解决方案。
Dynes说：“你需要把新世界和旧世界融合起来。”旧世界严重依赖数据收集，而新世界主要关注数据解决方案。如今，在这个行业中，已经有一些解决方案能够同时满足这两个要求。
他的结论是，“数据工程的重要性是不可忽视的，机器学习就像潘多拉的盒子。”其在很多领域都有广泛的应用，一旦你打造了高质量的服务，企业就会为你带来更多业务。这是一件好事。
