一种可用于对话式人工智能系统中，防范有毒提示和回复的文本分类模型。

ShieldGemma 是一组经过指令微调的模型，用于根据一组既定的安全策略评估文本和图像的安全性。您可以将此模型用作生成式人工智能应用更大系统的一部分，以帮助评估并防止生成式人工智能……

WildGuard 是一个开源、轻量级的 LLM 安全审核工具，旨在实现三个目标：

Llama Guard 是一种基于大语言模型的输入输出防护模型，专为人类与AI对话场景设计。

Petri 是一个用于快速、真实假设测试的对齐审计代理。它能自主构建环境，使用类人消息和模拟工具对目标模型进行多轮审计，并对对话记录进行评分，以发现潜在问题行为。