展会信息港展会大全

IT系统分析师如何学习大数据
来源:互联网   发布日期:2015-7-2   浏览:902次  

导读:我是一名从事大数据项目的IT系统分析师。在深入这个项目前需要了解些什么呢? 学习大数据的最佳方法就是先从了解信息系统是如何工作着手,尤其是数据库和基础设施。同样在开始前还需要了解大数据工具,如Cloudera、Hadoop、Spark、Hive、Pig、Flu ......

我是一名从事大数据项目的IT系统分析师。在深入这个项目前需要了解些什么呢?

学习大数据的最佳方法就是先从了解信息系统是如何工作着手,尤其是数据库和基础设施。同样在开始前还需要了解大数据工具,如Cloudera、Hadoop、Spark、Hive、Pig、Flume、Sqoop与Mesos。

系统分析师需要明白如何组织、管理和保护数据。在市面上有几十款数据管理产品可以用于管理数据。你的大数据数据库可能包含了各种来源的结构化数据和非结构化数据数据仓库、Hadoop、NoSQL、内存数据、文件以及应用程序所以你必须学会组织数据,以便系统有效的处理他们。确保你的主数据一致性,以避免出现多个版本的数据多个不同步的数据库。

数据保护同样重要;要熟悉组织的数据安全处理过程,同样还需要了解安全、合规性以及治理流程。根据数据敏感程度的不同、考虑屏蔽、编校或加密保护。

大数据源的定义

数据仓库

Hadoop

NoSQL

内存数据

文件数据

应用程序数据

在接触这个项目之前的最后一步,考察客户对服务质量的要求。他们需要分析多大的数据,以及这些数据的响应速度。例如,对于大型数据库,近乎实时响应的需求会需要将其放置在内存或者闪存缓存中。IBM的BLU Accelerator 和SAP HANA都十分适合在内存中快速读取的应用场景。此外,理解你用户的预期结果他们正试图得到的答案。如果你知道他们需要的结果,就可以组织数据与系统,以更有效的达到目标。

我们一直都在努力坚持原创.......请不要一声不吭,就悄悄拿走。

我原创,你原创,我们的内容世界才会更加精彩!

赞助本站

相关内容
AiLab云推荐
展开

热门栏目HotCates

Copyright © 2010-2024 AiLab Team. 人工智能实验室 版权所有    关于我们 | 联系我们 | 广告服务 | 公司动态 | 免责声明 | 隐私条款 | 工作机会 | 展会港