AlignScore 部署#

注意

使用 NeMo Guardrails 的推荐方法是使用提供的 Dockerfile。 更多详情，请查看如何 构建和使用镜像。

要部署 AlignScore 服务器，请按照以下步骤操作

重要提示

Python 3.11 不支持安装 AlignScore。

  1. 从 GitHub 存储库安装 alignscore 包

git clone https://github.com/yuh-zha/AlignScore.git
cd AlignScore
pip install .

  1. 安装 Pytorch 版本 2.0.1。

pip install torch==2.0.1

  1. 下载 Spacy en_core_web_sm 模型

python -m spacy download en_core_web_sm

  1. 下载一个或两个 AlignScore 检查点

curl -OL https://hugging-face.cn/yzha/AlignScore/resolve/main/AlignScore-base.ckpt
curl -OL https://hugging-face.cn/yzha/AlignScore/resolve/main/AlignScore-large.ckpt

  1. 设置 ALIGN_SCORE_PATH 环境变量，指向已下载检查点的路径。

  2. 将 ALIGN_SCORE_DEVICE 环境变量设置为 "cpu" 以在 CPU 上运行 AlignScore 模型，或设置为相应的 GPU 设备，例如 "cuda:0"。

export ALIGN_SCORE_PATH=<path/to/folder_containing_ckpt>
export ALIGN_SCORE_DEVICE="cuda:0"

  1. 启动 AlignScore 服务器。

python -m nemoguardrails.library.factchecking.align_score.server --port 5000 --models=base

默认情况下，AlignScore 服务器侦听端口 5000。 您可以使用 --port 选项更改端口。 此外，默认情况下，AlignScore 服务器仅加载基本模型。 您可以使用 --models=large 仅加载大型模型，或使用 --models=base --models=large 加载两个模型。