Fiddler Guardrails 集成#

Fiddler Guardrails 在低延迟、高吞吐量的专业配置中使用了 Fiddler Trust Models。Guardrails 可用于保护大型语言模型 (LLM) 应用免受用户威胁，例如提示注入或有害及不当内容，以及 LLM 幻觉。

目前，只有 Fiddler Trust Models（Faithfulness 和 Safety）—— Fiddler 自主研发、专为 SLM 构建的模型——可用于 guardrail。未来发布的模型以及模型更新/改进也将可用于 guardrail。

设置#

  1. 请确保您有权访问有效的 Fiddler 环境。要获取环境，请联系我们。

  2. 创建一个新的 Fiddler 环境密钥，并将 FIDDLER_API_KEY 环境变量设置为此密钥，以便对 Fiddler 服务进行身份验证。

更新您的 config.yml 文件以包含以下设置：

rails:
    config:
        fiddler:
            fiddler_endpoint: https://testfiddler.ai # Replace this with your fiddler environment
            safety_threshold: .2 # Any value greater than this threshold will trigger a violation
            faithfulness_threshold: .3 # Any value less than this threshold will trigger a violation
    input:
        flows:
            - fiddler user safety
    output:
        flows:
            - fiddler bot safety
            - fiddler bot faithfulness

用法#

配置完成后，Fiddler Guardrails 集成将自动执行以下操作：

  1. 检测输入到 LLM 中的不安全、攻击性、有害或越狱的输入

  2. 检测 LLM 输出中的不安全、攻击性或有害内容

  3. 检测 LLM 输出中潜在的幻觉

自定义#

您可以使用 safety_threshold 和 faithfulness_threshold 参数配置安全性和幻觉检测的阈值：

错误处理#

在任何 API 故障发生时，Fiddler Guardrails 不会阻止输入。

注意事项#

有关 Fiddler Guardrails 的更多信息，请访问 Fiddler Guardrails 文档。