AI网关-Higress简介
云原生 API 网关 Higress 的 AI 网关能力与使用场景
Higress 是一款云原生 API 网关，内核基于 Istio 和 Envoy，可以用 Go、Rust、JS 等语言编写 Wasm 插件，内置数十个开箱即用的通用插件，并提供开箱即用的控制台（在线 demo 请点这里）。
Higress 在阿里内部为解决 Tengine reload 对长连接业务有损，以及 gRPC/Dubbo 负载均衡能力不足而诞生。
阿里云基于 Higress 构建了云原生 API 网关产品，为大量企业客户提供 99.99% 的网关高可用保障服务能力。
Higress 的 AI 网关能力支持国内外所有主流模型供应商，以及基于 vLLM、Ollama 等自建的 DeepSeek 等模型；在阿里云内部支撑了通义千问 APP、百炼大模型 API、机器学习 PAI 平台等 AI 业务。同时服务国内头部的 AIGC 企业（如零一万物），以及 AI 产品（如 FastGPT）。
什么是 AI 网关
AI Gateway = AI Native API Gateway。
AI 网关的本质依然是 API 网关，AI 原生的意义在于：在这样的 API 网关里，AI 是一等公民。API 研发、API 供应、API 消费，以及 API 观测都基于 AI 场景下的需求，演进出全新的能力。
参考资料
快速开始
Higress 只需 Docker 即可启动，方便个人开发者在本地搭建学习，或者用于搭建简易站点：
# 创建一个工作目录
mkdir higress; cd higress
# 启动 higress，配置文件会写到工作目录下
docker run -d --rm --name higress-ai -v ${PWD}:/data \
-p 8001:8001 -p 8080:8080 -p 8443:8443 \
higress-registry.cn-hangzhou.cr.aliyuncs.com/higress/all-in-one:latest监听端口说明如下：
- 8001 端口：Higress UI 控制台入口
- 8080 端口：网关 HTTP 协议入口
- 8443 端口：网关 HTTPS 协议入口
关联仓库
使用场景
AI 网关
Higress 能够用统一的协议对接国内外所有 LLM 模型厂商，同时具备丰富的 AI 可观测、多模型负载均衡与 fallback、AI token 流控、AI 缓存等能力（面向 AI Native 场景提供原生扩展能力的 API 网关，帮助开发者高效构建 AI 应用）：
Kubernetes Ingress 网关
Higress 可以作为 K8s 集群的 Ingress 入口网关，并且兼容了大量 K8s Nginx Ingress 的注解，可以从 K8s Nginx Ingress 快速平滑迁移到 Higress。
支持 Gateway API 标准，支持用户从 Ingress API 平滑迁移到 Gateway API。
相比 ingress-nginx，资源开销大幅下降，路由变更生效速度有十倍提升：
微服务网关
Higress 可以作为微服务网关，能够对接多种类型的注册中心发现服务配置路由，例如 Nacos、ZooKeeper、Consul、Eureka 等。
并且深度集成了 Dubbo、Nacos、Sentinel 等微服务技术栈，基于 Envoy C++ 网关内核的出色性能，相比传统 Java 类微服务网关，可以显著降低资源使用率，减少成本。
安全防护网关
Higress 可以作为安全防护网关，提供 WAF 的能力，并且支持多种认证鉴权策略，例如 key-auth、hmac-auth、jwt-auth、basic-auth、oidc 等。
核心优势
生产等级
脱胎于阿里巴巴多年生产验证的内部产品，支持每秒请求量达数十万级的大规模场景。
彻底摆脱 Nginx reload 引起的流量抖动，配置变更毫秒级生效且业务无感。对 AI 业务等长连接场景特别友好。
流式处理
支持真正的完全流式处理请求/响应 Body，Wasm 插件可以方便地自定义处理 SSE（Server-Sent Events）等流式协议的报文。
在 AI 业务等大带宽场景下，可以显著降低内存开销。
便于扩展
提供丰富的官方插件库，涵盖 AI、流量管理、安全防护等常用功能，满足 90% 以上的业务场景需求。
主打 Wasm 插件扩展，通过沙箱隔离确保内存安全，支持多种编程语言，允许插件版本独立升级，实现流量无损热更新网关逻辑。
安全易用
基于 Ingress API 和 Gateway API 标准，提供开箱即用的 UI 控制台，WAF 防护插件、IP/Cookie CC 防护插件开箱即用。
支持对接 Let’s Encrypt 自动签发和续签免费证书，并且可以脱离 K8s 部署，一行 Docker 命令即可启动，方便个人开发者使用。
Higress UI 控制台
丰富的可观测
提供开箱即用的可观测能力，Grafana 和 Prometheus 可以使用内置的，也可以对接自建的。
插件扩展机制
官方提供了多种插件，用户也可以开发自己的插件，构建成 Docker/OCI 镜像后在控制台配置，可以实时变更插件逻辑，对流量完全无损。
多种服务发现
默认提供 K8s Service 服务发现，通过配置可以对接 Nacos、ZooKeeper 等注册中心实现服务发现，也可以基于静态 IP 或者 DNS 来发现。
域名和证书
可以创建管理 TLS 证书，并配置域名的 HTTP/HTTPS 行为，域名策略里支持对特定域名生效插件。
丰富的路由能力
通过上面定义的服务发现机制，发现的服务会出现在服务列表中；创建路由时，选择域名，定义路由匹配机制，再选择目标服务进行路由；路由策略里支持对特定路由生效插件。
