插件

class tensorrt_llm.plugin.PluginConfig(_explicitly_disable_gemm_plugin: bool = False)

基类: object

用于管理插件相关选项的配置。

有两种选项类别: * 插件选项 (通常使用 xxx_plugin 命名)。 这些选项可以被赋值为

• “float16”/”bfloat16”/”float32”/”int32”，这意味着插件已启用，并使用指定的精度； (某些插件仅支持有限的 dtype，例如，gemm_swiglu_plugin 和 low_latency_gemm_swiglu_plugin 现在仅支持 fp8)

• “auto”，这意味着插件已启用，并使用 dtype 字段的精度 (dtype 字段必须与模型 dtype 相同，即 PretrainedConfig 中的那个)；

• None，这意味着插件已禁用。

• 其他功能。 这些选项可以被赋值为布尔值

  • True，这意味着插件已启用；

  • False，这意味着插件已禁用。

注意：所有字段应使用前缀“_”；PluginConfigMeta 会将每个字段包装为属性。 这确保了字段只能被赋值为允许的值。

to_legacy_setting()

旧版设置意味着所有插件和功能均已禁用，这是旧版 build.py 脚本所必需的，该脚本将迁移到集中式构建脚本 tensorrt_llm/commands/build.py。

迁移完成后，此函数可能会或可能不会被删除。