谷歌 Apigee 内置 LLM 安全治理:Model Armor

来源: InfoQ - 架构

原文

谷歌云推出了Model Armor的公开预览版",这是一个集成到Apigee API管理平台的原生大语言模型(LLM)治理框架。一篇社区帖子中详细介"绍了Model Armor,它引入了针对LLM特定策略的即开即用执行,例如提示验证、输出过滤和API层的token级控制。

Model Armor直接在Apigee的代理层运行,在那里它使用声明性策略检查请求和响应。它适用于所有Apigee"层,允许团队无论他们的订阅级别如何,都能采用LLM治理。LLM API实现了强大的新客户体验和自动化,但也引入了风险,例如提示注入(LLM的一个重要OWASP前10风险")攻击和敏感数据的暴露。

这些策略可以检测到越狱尝试、提示注入和个人身份信息(PII)暴露等问题,允许根据需要对输出进行编辑、更改或阻止,而无需修改下游系统。根据谷歌的说法,“有了Model Armor,企业可以像对待传统API一样严格地对LLM流量进行同样的治理”。

这些控制用Apigee基于XML的策略语言表示,允许团队将LLM安全规则集成到现有API中。一个实践教程"展示了如何应用这些策略,涵盖了提示检查、token配额和与Vertex AI"的集成。教程包括一个可下载的代理模板和配置Model Armor执行规则的分步指导。策略执行在代理层应用,以实现服务和端点之间的一致性。

Apigee和Model Armor架构(来源:谷歌社区帖子")

Model Armor支持多个LLM提供商,包括Vertex AI(Gemini、Meta Llama)、OpenAI、Anthropic和自托管模型,允许在异构架构中进行集中治理。

此外,谷歌已将Model Armor与Google Kubernetes Engine"(GKE)和Security Command Center集成。这允许组织直接在GKE集群中运行的推理网关或在负载均衡器上部署Model Armor策略。这些策略在模型提示和响应到达内部服务之前进行检查。任何违规行为都会作为安全发现出现在Security Command Center中,提供集中监控、预警和修复工作流程。这种集成加强了Model-Armor作为LLM流量治理和更广泛的云安全运营之间桥梁的地位。

Apigee作为LLM应用程序和模型之间的网关(来源:谷歌社区帖子")

该框架为每次策略评估记录了详细的元数据,包括触发的过滤器和执行结果。这些日志输入到Apigee的可观测性和日志管道中,支持监控、异常检测和LLM行为的事后分析。

虽然其他API网关也提供了通用流量控制,但它们通常需要自定义中间件来实现模型级安全。Model Armor旨在通过在Apigee中提供原生的LLM特定策略执行来消除这种复杂性。

原文链接:

https://www.infoq.com/news/2025/07/google-apigee-llm-model-armor/"