大数据处理平台都有哪些？大数据平台的3个核心功能

本文讲述了大数据处理平台都有哪些？大数据平台的3个核心功能

在大数据工作中，有很多的工具和平台需要我们去了解，当我们把这些工具烂熟于心，我们就能够更好地处理大数据所涉及的问题。关于大数据的工具有很多，我们在前面的文章中已经给大家介绍了不少，今天重点给大家介绍一下大数据的处理平台。大数据的处理平台也是有很多的，我们可以从大数据的处理过程中进行区分。而大数据的处理过程也有很多，比如大数据采集、存储、结构化处理、隐私保护、挖掘、结果展示等，各种领域的大数据应用一般都会涉及到这些基本过程，但不同应用可能会有所侧重。那么大数据处理平台都有什么类型呢？我们就给大家解答一下。

通常来说，有很多算法和模型可以解决这些处理过程中的技术问题。目前大数据技术平台有很多，这就需要我们可以对大数据处理平台进行分类，这就可以从大数据处理的过程、大数据处理的数据类型、大数据处理的方式以及平台对数据的部署方式这几方面进行。

首先我们从大数据处理的方式来划分，这样我们就能够把大数据平台分为批量处理、实时处理、综合处理。其中批量数据是对成批数据进行一次性处理，而实时处理对处理的延时有严格的要求，综合处理是指同时具备批量处理和实时处理两种方式。这样分使得大数据处理系统更容易区分。

然后我们就给大家说一下从大数据处理的过程来区分大数据处理平台。通过数据处理的过程我们可以分为数据存储、数据挖掘分析、以及为完成高效分析挖掘而设计的计算平台，它们完成数据采集、ETL、存储、结构化处理、挖掘、分析、预测、应用等功能。

如果我们从大数据处理的数据类型来划分，这里我们可以分为针对关系型数据、非关系型数据、半结构化数据、混合类型数据处理的技术平台。这些在很多企业中经常使用的。

假如我们从平台对数据的部署方式区分大数据分析平台我们可以分为基于内存的、基于磁盘的。前者在分布式系统内部的数据交换是在内存中进行，后者则是通过磁盘文件的方式。

其实技术平台还有分布式、集中式之分，云环境和非云环境之分等。这样就能够为用户提供了大数据存储、计算能力、大数据分析挖掘、以及输出展示等服务，用户可以容易地实现BI商业智能、人工智能服务，具备一站式数据应用能力。

关于大数据处理平台的划分我们就给大家介绍到这里了。其实大数据处理平台真的有很多，我们需要根据自己的实际情况选择学习大数据处理平台的相关知识，这样是对工作的负责，也是对自己的负责。最后祝愿大家早日学成大数据。

大数据平台的核心功能（一）原始数据清洗

操作数据存储（Operational Data Store，ODS），又被称为贴源层，是原始数据经过ETL（Extract-Transform-Load）清洗后存储的位置。ODS通常有如下几个作用。

在业务系统和数据仓库之间做了隔离，将业务系统产生的原始数据备份的同时，保证了两个系统之间数据的一致性。

存储了业务侧的明细数据，方便后续的查询和加工以及报表的产出。

完成数据仓库中不能实现的一些功能，相比于DW和DM层通常使用Hive查询，ODS一般利用更底层的编程语言加工而成，可以实现一些更复杂和更高效的ETL操作。

此外，ODS层保留了大量的历史明细数据，通常约定只能增加不能修改，利用时间分区的方式进行区分。

大数据平台的核心功能（二）数据仓库管理

数据仓库（Data Warehouse，DW）是企业级数据集中汇总的位置。DW层最大的特点是面向主题，根据不同的主题设计表的结构和内容，这样做的好处是排除了与主题无关的冗余数据，提高了特定主题下的查询和加工效率。

另一方面，数据仓库作为连接原始数据和标签之间的中间层，必须保证数据质量，包括唯一性、权威性、准确性等。

以风控主题为例，DW层中通常会包括授信、支用、还款、催收等一系列数据，方便后期相关标签的计算。另外，还会有一些公用的维度表被存在与DW层平行的DIM层中，这些表通常是一些城市、日期类的字典数据，贯穿多个主题数据。

大数据平台的核心功能（三）数据标签应用

整个数据平台的最上层是数据集市（Data Market，DM），也是与风控人员联系最紧密的一层。顾名思义，数据集市就是将数据仓库中的主题数据根据不同的业务需要挑选出来，构成特定的业务场景标签。

例如想构建与客户逾期表现相关的标签，只需要将DW层中与还款相关的表抽取出来加工即可，这样不仅结构清晰，还保证了标签计算的效率。

由于DM层的数据标签与业务联系较为紧密，建议在DM层逻辑设计的初期，让更多的业务人员参与进来，这样才能避免后期技术与业务在标签计算口径上不统一的问题。

上文就是小编为大家整理的大数据处理平台都有哪些？大数据平台的3个核心功能

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。