越狱检测部署#

使用 NeMo Guardrails 配合越狱检测启发法和模型的最推荐方式是使用提供的 Dockerfile。更多详细信息，请查看如何构建和使用镜像。

如果您希望使用 NemoGuard JailbreakDetect NIM，请参阅相关文档。

为了部署越狱检测服务器，请按照以下步骤操作

安装依赖项

pip install transformers torch uvicorn nemoguardrails

启动越狱检测服务器

python -m nemoguardrails.library.jailbreak_detection.server --port 1337

默认情况下，越狱检测服务器监听端口 1337。您可以使用 --port 选项更改端口。

在 GPU 上运行#

要在 GPU 上运行，请确保已安装 NVIDIA Container Toolkit。如果您正在从提供的 dockerfile 构建容器，请确保指定正确的 Dockerfile 并包含 -f 参数，配合使用 docker build。运行 docker 时，请确保传递 -e NVIDIA_DRIVER_CAPABILITIES=compute,utility、-e NVIDIA_VISIBLE_DEVICES=all 和 --runtime=nvidia 参数给 docker run。

docker run -ti --runtime=nvidia -e NVIDIA_DRIVER_CAPABILITIES=compute,utility -e NVIDIA_VISIBLE_DEVICES=all <image_name>