NemoGuard 越狱检测部署

NemoGuard 越狱检测模型可通过 越狱检测容器 或作为 NVIDIA NIM 获取。

NIM 部署

第一步是确保通过 NGC 并使用 NVAIE 许可证访问 NVIDIA NIM 资产。获取具有必要权限的 NGC API 密钥后，设置以下环境变量

export NGC_API_KEY=<your NGC API key>
docker login nvcr.io -u '$oauthtoken' -p <<< <your NGC API key>

通过拉取最新的 NemoGuard 容器，测试您是否能够使用 NVIDIA NIM 资产。

export NIM_IMAGE='nvcr.io/nim/nvidia/nemoguard-jailbreak-detect:latest'
docker pull $NIM_IMAGE

然后运行容器。

docker run -it --gpus=all --runtime=nvidia \
    -e NGC_API_KEY="$NGC_API_KEY" \
    -p 8000:8000 \
    $NIM_IMAGE

在 Guardrails 中使用 NIM

在 Guardrails 配置文件中，您可以指定希望将 NIM 端点用作越狱检测配置的一部分。为此，请确保在 nim_url 参数中指定 NIM 的位置。如果 NIM 正在非 8000 的端口上监听，请在 nim_port 参数中指定该端口。示例如下所示。

models:
  - type: main
    engine: openai
    model: gpt-3.5-turbo-instruct



rails:
  config:
    jailbreak_detection:
      nim_url: "0.0.0.0"
      nim_port: 8000
  input:
    flows:
      - jailbreak detection model