OCI（Open Container Initiative，开放容器倡议）是一个轻量级、开放的治理组织，在 Linux 基金会的支持下成立，致力于围绕容器格式和运行时创建开放的行业标准。OCI 项目由 Docker、CoreOS（后被 Red Hat 收购，相应席位由 Red Hat 继承）以及容器行业的其他领导者于 2015 年 6 月启动。其技术委员会（Technical Oversight Board，TOB）成员随时间有所更迭，历史上曾包括 Red Hat、Microsoft、Docker、IBM、Google、SUSE 等，具体成员可查阅 OCI Technical Oversight Board。

1. 云原生部署

支持 部署到 Kubernetes，或者 本地k8s， 如 Kind。具体参考

• 使用 Helm 进行云原生部署
• 部署到本地k8s，如Kind

2. Docker-Compose部署

参考

AI Gateway（又称大模型网关、AI 网关）是位于应用与 AI/LLM 服务之间的一层流量管理组件，在开源社区已有较为成熟的技术实现。它在应用与模型服务之间承担统一入口的职责：无论调用的是预置模型还是自研模型，都可以经由网关完成路由、鉴权与调用，方便业务方在数据分析、应用开发等场景中接入 AI 能力。同时，AI 网关还提供配套工具，帮助监控模型调用性能，并为后续优化提供数据支撑。