NeMo Guardrails 与 Docker

介绍

本指南提供了使用 Docker 运行 NeMo Guardrails 的分步说明。Docker 提供了一种无缝、快速的部署方法，可助您快速开始使用 NeMo Guardrails。

先决条件

确保您的机器上已安装 Docker。如果尚未安装，请按照 适用于您平台的官方 Docker 安装指南 进行操作。

构建 Docker 镜像

1. 克隆仓库

首先克隆 NeMo Guardrails 仓库

git clone https://github.com/NVIDIA/NeMo-Guardrails.git nemoguardrails

并进入仓库目录

cd nemoguardrails

2. 构建 Docker 镜像

构建 nemoguardrails Docker 镜像

docker build -t nemoguardrails .

3. [可选] 构建 AlignScore 服务器镜像

如果您想使用基于 AlignScore 的事实核查，也可以使用提供的 Dockerfile 构建 Docker 镜像。

cd nemoguardrails/library/factchecking/align_score
docker build -t alignscore-server .

注意：提供的 Dockerfile 只下载 base AlignScore 镜像。如果您需要大型模型的支持，请取消注释 Dockerfile 中的相应行。

4. [可选] 构建越狱检测启发式方法服务器镜像

如果您想使用越狱检测启发式方法服务器，也可以使用提供的 Dockerfile 构建 Docker 镜像。

cd nemoguardrails/jailbreak_detection
docker build -t jailbreak_detection_heuristics .

使用 Docker 运行

要使用 Docker 镜像运行 NeMo Guardrails 服务器，请运行以下命令

docker run -p 8000:8000 -e OPENAI_API_KEY=$OPENAI_API_KEY nemoguardrails

这将启动带有示例配置的 NeMo Guardrails 服务器。Chat UI 将可通过 https://:8000 访问。

注意：由于示例配置使用了 OpenAI test-davinci-003 模型，您需要提供一个 OPENAI_API_KEY。

要为服务器指定您自己的配置文件夹，您需要将本地配置挂载到容器内的 /config 路径下

docker run \
  -p 8000:8000 \
  -e OPENAI_API_KEY=$OPENAI_API_KEY \
  -v </path/to/local/config/>:/config \
  nemoguardrails

要使用 Chat CLI 界面，请在交互模式下运行 Docker 容器

docker run -it \
  -e OPENAI_API_KEY=$OPENAI_API_KEY \
  -v </path/to/local/config/>:/config \
  nemoguardrails chat --config=/config --verbose

AlignScore 事实核查

如果您的某个配置使用了 AlignScore 事实核查模型，您可以在单独的容器中运行 AlignScore 服务器

docker run -p 5000:5000 alignscore-server

这将在端口 5000 上启动 AlignScore 服务器。然后您可以在您的配置文件中指定 AlignScore 服务器 URL

rails:
  config:
    fact_checking:
      # Select AlignScore as the provider
      provider: align_score
      parameters:
        # Point to a running instance of the AlignScore server
        endpoint: "https://:5000/alignscore_base"