Apex
0.1
AMP: 自动混合精度
apex.amp
opt_level
s 和 属性
属性
opt_level
s
O0
: FP32 训练
O1
: 混合精度(推荐用于一般用途)
O2
: “接近 FP16” 混合精度
O3
: FP16 训练
统一 API
检查点
高级用例
高级 Amp 用法
GANs
梯度裁剪
自定义/用户定义的自动求导函数
强制特定层/函数使用所需的类型
多个模型/优化器/损失函数
跨迭代的梯度累积
自定义数据批次类型
旧 API 用户过渡指南
对于旧版 “Amp” API 用户
对于旧版 FP16_Optimizer 用户
分布式训练
apex.parallel
工具函数
融合优化器
apex.optimizers
融合层归一化
apex.normalization.fused_layer_norm
Apex
文档
»
索引
索引
A
|
B
|
C
|
D
|
E
|
F
|
I
|
L
|
M
|
P
|
R
|
S
|
U
|
Z
A
apex.amp(模块)
apex.fp16_utils(模块)
apex.normalization(模块)
apex.optimizers(模块)
apex.parallel(模块)
B
backward() (apex.fp16_utils.FP16_Optimizer 方法)
C
clip_master_grads() (apex.fp16_utils.FP16_Optimizer 方法)
convert_syncbn_model()(在模块 apex.parallel 中)
D
DistributedDataParallel(类,在 apex.parallel 中)
DynamicLossScaler(类,在 apex.fp16_utils 中)
E
extra_repr() (apex.normalization.FusedLayerNorm 方法)
F
forward() (apex.normalization.FusedLayerNorm 方法)
(apex.parallel.DistributedDataParallel 方法)
(apex.parallel.SyncBatchNorm 方法)
FP16_Optimizer(类,在 apex.fp16_utils 中)
FusedAdam(类,在 apex.optimizers 中)
FusedLAMB(类,在 apex.optimizers 中)
FusedLayerNorm(类,在 apex.normalization 中)
FusedNovoGrad(类,在 apex.optimizers 中)
FusedSGD(类,在 apex.optimizers 中)
I
initialize()(在模块 apex.amp 中)
inspect_master_grad_data() (apex.fp16_utils.FP16_Optimizer 方法)
L
load_state_dict() (apex.fp16_utils.FP16_Optimizer 方法)
(apex.optimizers.FusedNovoGrad 方法)
LossScaler(类,在 apex.fp16_utils 中)
M
master_params()(在模块 apex.amp 中)
master_params_to_model_params()(在模块 apex.fp16_utils 中)
model_grads_to_master_grads()(在模块 apex.fp16_utils 中)
P
prep_param_lists()(在模块 apex.fp16_utils 中)
R
Reducer(类,在 apex.parallel 中)
S
scale_loss()(在模块 apex.amp 中)
state_dict() (apex.fp16_utils.FP16_Optimizer 方法)
step() (apex.fp16_utils.FP16_Optimizer 方法)
(apex.optimizers.FusedAdam 方法)
(apex.optimizers.FusedLAMB 方法)
(apex.optimizers.FusedNovoGrad 方法)
(apex.optimizers.FusedSGD 方法)
SyncBatchNorm(类,在 apex.parallel 中)
U
update_master_grads() (apex.fp16_utils.FP16_Optimizer 方法)
Z
zero_grad() (apex.fp16_utils.FP16_Optimizer 方法)
(apex.optimizers.FusedAdam 方法)
(apex.optimizers.FusedLAMB 方法)
(apex.optimizers.FusedNovoGrad 方法)