cast.h

用于向/从 FP8 进行类型转换的函数。

函数

void nvte_fp8_quantize(const NVTETensor input, NVTETensor output, cudaStream_t stream)

将张量转换为 FP8。

参数

• input – [in] 要进行类型转换的输入张量。

• output – [inout] 输出 FP8 张量。

• stream – [in] 用于此操作的 CUDA stream。

void nvte_fp8_dequantize(const NVTETensor input, NVTETensor output, cudaStream_t stream)

将张量从 FP8 转换出来。

参数

• input – [in] 要进行类型转换的输入张量。

• output – [out] 输出张量。

• stream – [in] 用于此操作的 CUDA stream。