分布式机器学习：系统、工程与实战

文后

反侵权盗版声明

19.3 ClusterCoordinator

19.2 ParameterServerStrategyV2

19.1 ParameterServerStrategyV1

第19章 ParameterServerStrategy

18.2 MirroredStrategy分发计算

18.1 MirroredStrategy集合通信

第18章 MirroredStrategy

17.3 分布式变量

17.2 DistributedStrategy基础

17.1 使用TensorFlow进行分布式训练

第17章 分布式策略基础

16.4 通信机制

16.3 Worker动态逻辑

16.2 Master动态逻辑

16.1 Session机制

第16章 分布式运行环境之动态逻辑

15.4 Worker的静态逻辑

15.3 Master的静态逻辑

15.2 Server

15.1 总体架构

第15章 分布式运行环境之静态架构

5 TensorFlow分布式

14.7 PipeDream分布式优化器

14.6 PyTorch分布式优化器

14.5 模型并行的分布式问题

14.4 Horovod的优化器

14.3 DDP的优化器

14.2 DP的优化器

14.1 原生优化器

第14章 分布式优化器

13.6 自动求导引擎

13.5 如何切入引擎

13.4 上下文相关

13.3 RPC基础

13.2 分布式自动求导之设计

13.1 PyTorch模型并行

第13章 PyTorch如何实现模型并行

12.4 Pipedream的流水线刷新

12.3 如何设置各种并行

12.2 模型并行实现

12.1 设计思路

第12章 Megatron

4 模型并行

11.3 1F1B策略

11.2 通信模块

11.1 Runtime引擎

第11章 PipeDream之动态逻辑

10.4 转换模型阶段

10.3 计算分区阶段

10.2 profile阶段

10.1 总体思路

第10章 PipeDream之基础架构

9.5 并行计算

9.4 计算依赖

9.3 前向计算

9.2 切分数据和Runtime系统

9.1 如何划分模型

第9章 PyTorch流水线并行

8.3 Checkpointing

8.2 梯度累积

8.1 流水线基本实现

第8章 GPipe

3 流水线并行

7.6 后台线程架构

7.5 融合框架

7.4 DistributedOptimizer

7.3 网络基础和Driver

7.2 horovodrun

7.1 从使用者角度切入

第7章 Horovod

6.2 前向/反向传播

6.1 Reducer类

第6章 PyTorch DDP的动态逻辑

5.4 架构和初始化

5.3 基础概念

5.2 设计理念

5.1 DDP总述

第5章 PyTorch DDP的基础架构

4.7 总结

4.6 反向传播

4.5 计算损失

4.4 前向传播

4.3 定义

4.2 示例

4.1 综述

第4章 PyTorch DataParallel

2 数据并行

3.5 应用节点实现

3.4 代理人Customer

3.3 通信模块Van

3.2 基础模块Postoffice

3.1 参数服务器

第3章 参数服务器之PS-Lite

2.5 Ring All-Reduce

2.4 MPI AllReduce

2.3 集合通信

2.2 点对点通信

2.1 通信模式

第2章 集合通信

1.9 总结

1.8 PyTorch分布式

1.7 分布式机器学习编程接口

1.6 从训练并发角度看如何并行

1.5 从模型角度看如何并行

1.4 分布式机器学习研究领域

1.3 分布式训练的必要性

1.2 机器学习的特点

1.1 机器学习概念

第1章 分布式机器学习

1 分布式基础

前言

内容简介

作者介绍

版权信息

封面

封面

版权信息

作者介绍

内容简介

前言

1 分布式基础

第1章 分布式机器学习

1.1 机器学习概念

1.2 机器学习的特点

1.3 分布式训练的必要性

1.4 分布式机器学习研究领域

1.5 从模型角度看如何并行

1.6 从训练并发角度看如何并行

1.7 分布式机器学习编程接口

1.8 PyTorch分布式

1.9 总结

第2章 集合通信

2.1 通信模式

2.2 点对点通信

2.3 集合通信

2.4 MPI AllReduce

2.5 Ring All-Reduce

第3章 参数服务器之PS-Lite

3.1 参数服务器

3.2 基础模块Postoffice

3.3 通信模块Van

3.4 代理人Customer

3.5 应用节点实现

2 数据并行

第4章 PyTorch DataParallel

4.1 综述

4.2 示例

4.3 定义

4.4 前向传播

4.5 计算损失

4.6 反向传播

4.7 总结

第5章 PyTorch DDP的基础架构

5.1 DDP总述

5.2 设计理念

5.3 基础概念

5.4 架构和初始化

第6章 PyTorch DDP的动态逻辑

6.1 Reducer类

6.2 前向/反向传播

第7章 Horovod

7.1 从使用者角度切入

7.2 horovodrun

7.3 网络基础和Driver

7.4 DistributedOptimizer

7.5 融合框架

7.6 后台线程架构

3 流水线并行

第8章 GPipe

8.1 流水线基本实现

8.2 梯度累积

8.3 Checkpointing

第9章 PyTorch流水线并行

9.1 如何划分模型

9.2 切分数据和Runtime系统

9.3 前向计算

9.4 计算依赖

9.5 并行计算

第10章 PipeDream之基础架构

10.1 总体思路

10.2 profile阶段

10.3 计算分区阶段

10.4 转换模型阶段

第11章 PipeDream之动态逻辑

11.1 Runtime引擎

11.2 通信模块

11.3 1F1B策略

4 模型并行

第12章 Megatron

12.1 设计思路

12.2 模型并行实现

12.3 如何设置各种并行

12.4 Pipedream的流水线刷新

第13章 PyTorch如何实现模型并行

13.1 PyTorch模型并行

13.2 分布式自动求导之设计

13.3 RPC基础

13.4 上下文相关

13.5 如何切入引擎

13.6 自动求导引擎

第14章 分布式优化器

14.1 原生优化器

14.2 DP的优化器

14.3 DDP的优化器

14.4 Horovod的优化器

14.5 模型并行的分布式问题

14.6 PyTorch分布式优化器

14.7 PipeDream分布式优化器

5 TensorFlow分布式

第15章 分布式运行环境之静态架构

15.1 总体架构

15.2 Server

15.3 Master的静态逻辑

15.4 Worker的静态逻辑

第16章 分布式运行环境之动态逻辑

16.1 Session机制

16.2 Master动态逻辑

16.3 Worker动态逻辑

16.4 通信机制

第17章 分布式策略基础

17.1 使用TensorFlow进行分布式训练

17.2 DistributedStrategy基础

17.3 分布式变量

第18章 MirroredStrategy

18.1 MirroredStrategy集合通信

18.2 MirroredStrategy分发计算

第19章 ParameterServerStrategy

19.1 ParameterServerStrategyV1

19.2 ParameterServerStrategyV2

19.3 ClusterCoordinator

反侵权盗版声明

文后