跳到主要内容
Ctrl+K
TensorRT-LLM - Home TensorRT-LLM - Home

TensorRT-LLM

TensorRT-LLM - Home TensorRT-LLM - Home

TensorRT-LLM

目录

入门

  • 概述
  • 快速入门指南
  • 主要特性
  • PyTorch 后端
  • 发行说明

安装

  • 在 Linux 上安装
  • 在 Linux 上从源代码构建
  • 在 Grace Hopper 上安装

LLM API

  • API 介绍
  • API 参考

示例

  • LLM 示例介绍
    • 使用引导解码生成文本
    • 使用 logits 处理器控制生成的文本
    • 生成文本
    • 异步生成文本
    • 流式生成文本
    • 使用自定义生成文本
    • 分布式 LLM 生成
    • 使用 Medusa 解码生成文本
    • 使用量化生成
    • 使用 Lookahead 解码生成文本
    • 使用 Eagle 解码生成文本
    • 获取 KV 缓存事件
    • 使用多个 LoRA 适配器生成文本
    • 使用 LLM 自动并行
    • Llm Mgmn Llm Distributed
    • Llm Mgmn Trtllm Bench
    • Llm Mgmn Trtllm Serve
  • LLM 常见自定义
  • LLM 示例
    • 使用引导解码生成文本
    • 使用 logits 处理器控制生成的文本
    • 生成文本
    • 异步生成文本
    • 流式生成文本
    • 使用自定义生成文本
    • 分布式 LLM 生成
    • 使用 Medusa 解码生成文本
    • 使用量化生成
    • 使用 Lookahead 解码生成文本
    • 使用 Eagle 解码生成文本
    • 获取 KV 缓存事件
    • 使用多个 LoRA 适配器生成文本
    • 使用 LLM 自动并行
    • Llm Mgmn Llm Distributed
    • Llm Mgmn Trtllm Bench
    • Llm Mgmn Trtllm Serve
  • 在线服务示例
    • Curl Chat 客户端
    • 用于多模态的 Curl Chat 客户端
    • Curl Completion 客户端
    • Genai Perf 客户端
    • OpenAI Chat 客户端
    • OpenAI Chat 客户端
    • OpenAI Completion 客户端

模型定义 API

  • 层
  • 函数
  • 模型
  • 插件
  • 量化
  • 运行时

C++ API

  • Executor
  • 运行时

命令行参考

  • trtllm-build
  • trtllm-serve

架构

  • TensorRT-LLM 架构
  • 模型定义
  • TensorRT-LLM 检查点
  • TensorRT-LLM 构建工作流程
  • 添加模型

高级

  • 多头、多查询和分组查询注意力
  • C++ GPT 运行时
  • Executor API
  • 图重写模块
  • 使用 Executor / cpp 运行时运行 gpt-2b + LoRA
  • TensorRT-LLM 中的专家并行
  • KV 缓存重用
  • 推测性抽样
  • 分离式服务(实验性)

性能

  • 概述
  • 基准测试
  • 性能调优指南
    • 基准测试默认性能
    • 有用的构建时标志
    • 调整最大批处理大小和最大令牌数量
    • 决定模型分片策略
    • FP8 量化
    • 有用的运行时选项
  • 性能分析

参考

  • 故障排除
  • 支持矩阵
  • 数值精度
  • TensorRT-LLM 的内存使用

博客

  • H100 在 TensorRT-LLM 中具有 4.6 倍 A100 的性能,在 100 毫秒内达到 10,000 个 token/秒 到第一个 token
  • H200 在 Llama2-13B 上使用 TensorRT-LLM 实现了近 12,000 个 tokens/秒
  • 在单个 H200 GPU 上使用 INT4 AWQ 的 Falcon-180B,以及比 A100 快 6.7 倍的 Llama-70B
  • 通过 TRT-LLM 中 SOTA 量化技术加速推理
  • 新的 XQA-kernel 在相同的延迟预算内提供 2.4 倍的 Llama-70B 吞吐量

Python 模块索引

t
 
t
- tensorrt_llm
    tensorrt_llm.functional
    tensorrt_llm.layers.activation
    tensorrt_llm.layers.attention
    tensorrt_llm.layers.cast
    tensorrt_llm.layers.conv
    tensorrt_llm.layers.embedding
    tensorrt_llm.layers.linear
    tensorrt_llm.layers.mlp
    tensorrt_llm.layers.normalization
    tensorrt_llm.layers.pooling
    tensorrt_llm.models
    tensorrt_llm.plugin
    tensorrt_llm.quantization
    tensorrt_llm.runtime
NVIDIA NVIDIA
隐私政策 | 管理我的隐私 | 请勿出售或分享我的数据 | 服务条款 | 辅助功能 | 公司政策 | 产品安全 | 联系我们

版权所有 © 2025, NVidia。