包含 NemoGuard NIMs 的蓝图

注意

本文档适用于希望将 NeMo Guardrails 集成到 NVIDIA Blueprints 中的开发者

NVIDIA Blueprints 是全面的参考工作流，可加速 AI 应用的开发和部署。它们提供了现成的工作流和工具，使您轻松开始构建和设置虚拟助理。无论您需要简单的 AI 聊天机器人还是完全动画的数字人界面，NVIDIA 都提供了资源来帮助您创建可扩展且符合您品牌的 AI 助理。例如，开发者可以使用 用于 AI 虚拟助理的 NVIDIA AI 蓝图 来构建面向客户服务的 AI 助理，以提供响应迅速、高效的客户支持体验。

前提条件和设置

NVIDIA 蓝图

用于 AI 虚拟助理的 NVIDIA 蓝图既可以通过 NVIDIA 托管的端点部署，也可以通过本地托管的 NIM 微服务部署。要开始部署

• 使用 NVIDIA 托管的端点：启动项会打开一个 jupyter notebook - ai-virtual-assitant-notebook.ipynb。请确保满足计算要求

集成 NemoGuard

首先在 ai-virtual-assistant/deploy/compose 目录下创建一个 nemoguardrails.yaml 文件，以下载并初始化 NeMo Guardrails 工具包。确保文件中包含以下内容。您可以根据需要更改端口。

services:
  nemoguardrails:
    build:
      context: ../../../nemoguardrails  # Path to the cloned repository
      dockerfile: Dockerfile
    container_name: nemoguardrails
    runtime: nvidia
    deploy:
      resources:
        reservations:
          devices:
            - driver: nvidia
              count: 1
              capabilities: [gpu]
    environment:
      NGC_API_KEY: ${NGC_API_KEY}  # NVIDIA GPU Cloud API Key
    ports:
      - "8650:8650"  # Map container port 8000 to host port 8000
      - "8000:8000"
    user: "${USER_ID:-1000}:${GROUP_ID:-1000}"  # Use the current user's UID/GID
    command: >
      bash -c "
      export OPENAI_API_KEY=${OPENAI_API_KEY} &&
      cd nemoguardrails
      pip install --no-cache-dir -e .[all]
      "

按照 notebook - nemoguardrails/examples/notebooks/safeguard_ai_virtual_assistant_notebook.ipynb 的步骤，使用可下载的容器部署 NemoGuard NIM，并学习如何将其逐步集成到 NIM 蓝图中

NIM 蓝图 API 用法

使用 ai-virtual-assistant/notebooks/api_usage.ipynb 运行蓝图 api，查看代理响应