Apex (一个 PyTorch 扩展)

该站点包含 Apex 的 API 文档 (https://github.com/nvidia/apex)，一个 Pytorch 扩展，包含 NVIDIA 维护的实用程序，用于简化混合精度和分布式训练。 这里的一些代码最终将包含在上游 Pytorch 中。 Apex 的目的是尽快向用户提供最新的实用程序。

安装说明可以在这里找到： https://github.com/NVIDIA/apex#quick-start.

一些其他有用的材料，包括 GTC 2019 和 Pytorch DevCon 2019 幻灯片，可以在这里找到： https://github.com/mcarilli/mixed_precision_references.

AMP: 自动混合精度

• apex.amp

分布式训练

• apex.parallel

融合优化器

• apex.optimizers

融合层归一化

• apex.normalization.fused_layer_norm

索引和表格

• 索引

• 模块索引