Hadoop 3实战指南

作者简介

5.5 小结

5.4.3 集群诊断分析平台

5.4.2 监控平台

5.4.1 任务调度平台

5.4 周边系统平台

5.3.4 提交Pull Request

5.3.3 合并社区Patch

5.3.2 自身功能扩展之自动识别修复后的数据盘

5.3.1 与其他自研系统融合

5.3 二次开发

5.2.3 升级/降级中遇到的问题

5.2.2 Hadoop 3.0降级为Hadoop 2.0

5.2.1 Hadoop 2.0升级为Hadoop 3.0

5.2 Hadoop升级

5.1.2 Hadoop 3.x Federation的部署

5.1.1 Hadoop 3.x HA的部署

5.1 Hadoop 3.x 的部署

第 5 章 实战指南

4.5 小结

4.4 Application on YARN

4.3.2 MR ApplicationMaster

4.3.1 YARN的事件机制和状态机机制

4.3 MapReduce on YARN

4.2.4 Shuffle

4.2.3 溢写和归并

4.2.2 环形缓冲区

4.2.1 InputSplit

4.2 MapReduce的源码分析

4.1 MapReduce的简介

第 4 章 Application on YARN

3.7 小结

3.6.3 Shared Cache实例

3.6.2 Shared Cache的架构

3.6.1 资源本地化

3.6 YARN Shared Cache

3.5.2 opportunistic container

3.5.1 分布式调度器的架构

3.5 分布式调度器

3.4.3 调度扩展

3.4.2 Fair调度器

3.4.1 Capacity调度器

3.4 中央调度器

3.3.5 跨子集群运行

3.3.4 AMRMProxy

3.3.3 State Store和Policy Store

3.3.2 Router

3.3.1 架构

3.3 YARN Federation

3.2.2 数据恢复

3.2.1 故障转移

3.2 解析ResourceManager的HA功能

3.1 YARN简介

第 3 章 YARN

2.7 小结

2.6.2 Ozone架构

2.6.1 Ozone初体验

2.6 下一代对象存储系统Ozone

2.5.4 对比HDFS EC策略与三副本策略

2.5.3 HDFS EC的实现

2.5.2 HDFS EC

2.5.1 纠删码的原理

2.5 纠删码

2.4.2 基于Router的Federation

2.4.1 基于viewfs的Federation

2.4 HDFS的Federation

2.3.3 多NameNode模式

2.3.2 故障转移

2.3.1 基于QJM的HA

2.3 解析NameNode的HA功能

2.2.2 解析NameNode的内存结构

2.2.1 解析NameNode中的元数据

2.2 解析NameNode中的元数据及其内存结构

2.1 HDFS简介

第 2 章 HDFS

1.4 小结

1.3.2 断点调试代码

1.3.1 单元测试

1.3 阅读Hadoop源码

1.2 Hadoop 3.0

1.1.2 Hadoop 2.0

1.1.1 Hadoop 1.0

1.1 简介

第 1 章 Hadoop

前言

版权信息

封面

封面

版权信息

前言

第 1 章 Hadoop

1.1 简介

1.1.1 Hadoop 1.0

1.1.2 Hadoop 2.0

1.2 Hadoop 3.0

1.3 阅读Hadoop源码

1.3.1 单元测试

1.3.2 断点调试代码

1.4 小结

第 2 章 HDFS

2.1 HDFS简介

2.2 解析NameNode中的元数据及其内存结构

2.2.1 解析NameNode中的元数据

2.2.2 解析NameNode的内存结构

2.3 解析NameNode的HA功能

2.3.1 基于QJM的HA

2.3.2 故障转移

2.3.3 多NameNode模式

2.4 HDFS的Federation

2.4.1 基于viewfs的Federation

2.4.2 基于Router的Federation

2.5 纠删码

2.5.1 纠删码的原理

2.5.2 HDFS EC

2.5.3 HDFS EC的实现

2.5.4 对比HDFS EC策略与三副本策略

2.6 下一代对象存储系统Ozone

2.6.1 Ozone初体验

2.6.2 Ozone架构

2.7 小结

第 3 章 YARN

3.1 YARN简介

3.2 解析ResourceManager的HA功能

3.2.1 故障转移

3.2.2 数据恢复

3.3 YARN Federation

3.3.1 架构

3.3.2 Router

3.3.3 State Store和Policy Store

3.3.4 AMRMProxy

3.3.5 跨子集群运行

3.4 中央调度器

3.4.1 Capacity调度器

3.4.2 Fair调度器

3.4.3 调度扩展

3.5 分布式调度器

3.5.1 分布式调度器的架构

3.5.2 opportunistic container

3.6 YARN Shared Cache

3.6.1 资源本地化

3.6.2 Shared Cache的架构

3.6.3 Shared Cache实例

3.7 小结

第 4 章 Application on YARN

4.1 MapReduce的简介

4.2 MapReduce的源码分析

4.2.1 InputSplit

4.2.2 环形缓冲区

4.2.3 溢写和归并

4.2.4 Shuffle

4.3 MapReduce on YARN

4.3.1 YARN的事件机制和状态机机制

4.3.2 MR ApplicationMaster

4.4 Application on YARN

4.5 小结

第 5 章 实战指南

5.1 Hadoop 3.x 的部署

5.1.1 Hadoop 3.x HA的部署

5.1.2 Hadoop 3.x Federation的部署

5.2 Hadoop升级

5.2.1 Hadoop 2.0升级为Hadoop 3.0

5.2.2 Hadoop 3.0降级为Hadoop 2.0

5.2.3 升级/降级中遇到的问题

5.3 二次开发

5.3.1 与其他自研系统融合

5.3.2 自身功能扩展之自动识别修复后的数据盘

5.3.3 合并社区Patch

5.3.4 提交Pull Request

5.4 周边系统平台

5.4.1 任务调度平台

5.4.2 监控平台

5.4.3 集群诊断分析平台

5.5 小结

作者简介