大数据处理技术 - hadoop 的架构模型（1.x，2.x 的各种架构模型介绍）

1.x 的版本架构模型

文件系统核心模块

NameNode：集群当中的主节点，主要用于管理集群当中的各种数据

secondaryNameNode：主要能用于 hadoop 当中元数据信息的辅助管理

DataNode：集群当中的从节点，主要用于存储集群当中的各种数据

数据计算核心模块

JobTracker：接收用户的计算请求任务，并分配任务给从节点

TaskTracker：负责执行主节点 JobTracker 分配的任务

2.x 的版本架构模型

第一种：NameNode 与 ResourceManager 单节点架构模型

文件系统核心模块

NameNode：集群当中的主节点，主要用于管理集群当中的各种数据

secondaryNameNode：主要能用于 hadoop 当中元数据信息的辅助管理

DataNode：集群当中的从节点，主要用于存储集群当中的各种数据

数据计算核心模块

ResourceManager：接收用户的计算请求任务，并负责集群的资源分配

NodeManager：负责执行主节点 APPmaster 分配的任务

第二种：NameNode 单节点与 ResourceManager 高可用架构模型

文件系统核心模块

NameNode：集群当中的主节点，主要用于管理集群当中的各种数据

secondaryNameNode：主要能用于 hadoop 当中元数据信息的辅助管理

DataNode：集群当中的从节点，主要用于存储集群当中的各种数据

数据计算核心模块

ResourceManager：接收用户的计算请求任务，并负责集群的资源分配，以及计算任务的划分，通过 zookeeper 实现 ResourceManager 的高可用

NodeManager：负责执行主节点 ResourceManager 分配的任务

第三种：NameNode 高可用与 ResourceManager 单节点架构模型

文件系统核心模块

NameNode：集群当中的主节点，主要用于管理集群当中的各种数据，其中 nameNode 可以有两个，形成高可用状态

DataNode：集群当中的从节点，主要用于存储集群当中的各种数据 JournalNode：文件系统元数据信息管理

数据计算核心模块

ResourceManager：接收用户的计算请求任务，并负责集群的资源分配，以及计算任务的划分

NodeManager：负责执行主节点 ResourceManager 分配的任务

第四种：NameNode 与 ResourceManager 高可用架构模型

文件系统核心模块

NameNode：集群当中的主节点，主要用于管理集群当中的各种数据，一般都是使用两个，实现 HA 高可用

JournalNode：元数据信息管理进程，一般都是奇数个

DataNode：从节点，用于数据的存储

数据计算核心模块

ResourceManager：Yarn 平台的主节点，主要用于接收各种任务，通过两个，构建成高可用

NodeManager：Yarn 平台的从节点，主要用于处理 ResourceManager 分配的任务