Vercel发布AI网关
Source: InfoQ - Backend
Vercel推出了用于生产环境工作负载的AI网关"。该服务提供了一个单一的API端点，用于访问范围广泛的大语言和生成式模型，旨在简化开发者的集成和管理。
AI网关"允许应用程序通过一个端点向多个模型供应商发送推断请求。它支持自带密钥（bring-your-own-key）认证，这意味着开发者可以使用自己来自供应商（例如OpenAI"、Anthropic"或Google"）的API密钥，而无需支付额外的令牌加价。网关还提供一致的请求路由，延迟低于20毫秒，旨在保持推断时间的稳定性，无需关心底层供应商的情况。
系统的核心功能之一是其故障转移机制。如果模型供应商遇到停机，网关会自动将请求重定向到可用的替代方案，减少服务中断。它还支持高请求吞吐，具备速率限制功能旨在满足生产级流量的需求。
可观测性内置于平台中。开发者可以访问详细的日志、性能指标和每个请求的成本跟踪信息。这些数据可以用来分析使用模式、监控响应时间，并了解不同模型供应商之间的成本分布，还可以使用AI SDK"进行集成，在配置中指定模型标识符即可发出请求。
Vercle"强调，AI网关"已在内部使用，以运行v0.app"，这是一个服务了数百万用户的服务。随着这次发布，基础设施对外部开发者开放，并针对生产工作负载进行了优化。
一个类似的服务是OpenRouter"，它也提供了一个统一的接口给不同的AI模型供应商。OpenRouter强调模型发现和跨供应商的价格透明度，Vercel的AI网关则专注于低延迟路由、内置故障转移和与公司现有开发者工具和托管环境的集成。两项服务都旨在简化对多个模型的访问，但它们从不同的角度处理开发者体验和基础设施可靠性。
来自X"和Reddit"的开发者评论对其简单性和灵活性提出了表扬，同时也表达对免费层限制和特定模型集成的挫败感。
eToro的技术负责人Filipe Sommer"评论说：
太棒了！你能详细说明一下故障转移吗？在这个博客文章和文档中找不到太多信息。比如说，这是否意味着，当一个Gemini模型不可用时，它可以自动用另一个模型重试吗？
与此同时，AI专家Himanshu Kumar"评论说：
在优先考虑速度和可靠性的同时，使AI访问普及化——这是一个重大的进步。这可能会激发一波新的AI驱动应用。
开发者Melvin Arias"提出了一个实际问题，询问：
它的定价与openrouter相比如何呢？
Vercel的AI网关的正式发布将其定位为构建AI驱动应用的更广泛工具生态系统的一部分，重点是路由、可靠性和监控，而不是提供自己的专有模型。
原文链接：