Kubernetes 社区包含多个特别兴趣小组(SIG)和工作组(WG), 旨在促进相关贡献者之间就重要议题展开讨论。 今天,我们很高兴地宣布成立 AI 网关工作组, 这是一项专注于为 Kubernetes 环境中支持 AI 工作负载的网络基础设施制定标准和最佳实践的新举措。
在 Kubernetes 环境中,AI 网关指的是网络网关基础设施(包括代理服务器、负载均衡器等), 它通常实现 Gateway API 规范,并针对 AI 工作负载提供增强功能。 AI 网关并非定义一个独立的产品类别,而是描述旨在对 AI 流量实施策略的基础设施,包括:
AI 网关工作组遵循清晰的章程运作, 其使命是为 Kubernetes 特别兴趣小组(SIG)及其子项目制定提案。 其主要目标包括:
AI 网关工作组目前有多个活跃提案, 旨在解决 AI 工作负载网络领域的关键挑战:
有效载荷处理提案 旨在满足 AI 工作负载检查和转换完整 HTTP 请求和响应有效载荷的关键需求。
这可以实现:
该提案定义了声明式有效载荷处理器配置、有序处理流水线和可配置故障模式的标准 —— 所有这些对于生产级 AI 工作负载部署都至关重要。
现代 AI 应用越来越依赖外部推理服务,无论是用于构建专用模型、实现故障转移,还是优化成本。
出口网关提案 旨在定义将流量安全地路由到集群外部的标准。 主要特性包括:
AI 网关工作组成员将在阿姆斯特丹举行的 KubeCon + CloudNativeCon Europe 上发表演讲,探讨人工智能与网络交叉领域的问题,包括工作组正在推进的提案,以及 AI 网关与模型上下文协议(MCP)和代理网络模式的交叉应用。 本次会议将展示 AI 网关工作组的提案如何为下一代 AI 部署和通信模式构建所需的基础设施。 会议还将介绍工作组路线图的初始设计、早期原型和新兴方向。 更多详情,请点击此处查看我们的会议:
AI 网关工作组代表 Kubernetes 社区致力于 AI 工作负载网络标准化。随着 AI 日益融入现代应用,我们需要强大且标准化的基础设施,以满足推理工作负载的独特需求, 同时保持 Kubernetes 用户所期望的安全性、可观测性和可靠性标准。
我们的提案目前正在积极开发中,并已开始在各个网关项目中实施。 我们正与 SIG Network 紧密合作,增强网关 API,并与更广泛的云原生社区协作, 以确保我们的标准能够满足实际生产需求。
无论您是网关实现者、平台运维人员、AI 应用开发者,还是仅仅对 Kubernetes 和 AI 的交叉领域感兴趣,我们都欢迎您的参与。 工作组采用开放贡献模式——您可以查看我们的提案、参加每周例会,或在我们的 GitHub 代码库上发起讨论。
了解更多信息:
Kubernetes 中 AI 基础设施的未来正在构建中,加入我们,了解如何贡献力量,帮助塑造 Kubernetes 中 AI 感知网关功能的未来。