上下文感知网络与运行时：Agentic 端到端

Source: Dev.to

AI 网络流量常常像个黑盒。你打开 AI 提供商的控制台或一个 Agent，提出问题或执行任务，然后会发生什么？这些流量流向何处？流量是否安全？它是否发送到合适的目的地？上下文在哪里？

从 Agent 调用 LLM 开始到你收到响应为止，需要回答数百个问题。要解答这些问题，你需要一个端到端的工作流，覆盖流量离开 Agent 到任务完成的全过程。

安装 Kagent

Kagent 是一个运行在 Kubernetes 上的 Agent 框架。

安装 Kagent CRD 并创建 kagent 命名空间

helm install kagent-crds oci://ghcr.io/kagent-dev/kagent/helm/kagent-crds \
    --namespace kagent \
    --create-namespace

设置你的 AI 提供商 API 密钥

本示例使用 Anthropic，但任何在受支持提供商文档中列出的提供商都可使用。

export ANTHROPIC_API_KEY=your_api_key

使用选定的提供商安装 Kagent

helm upgrade --install kagent oci://ghcr.io/kagent-dev/kagent/helm/kagent \
    --namespace kagent \
    --set providers.default=anthropic \
    --set providers.anthropic.apiKey=$ANTHROPIC_API_KEY \
    --set ui.service.type=LoadBalancer

验证安装

kubectl get svc -n kagent

你应该会看到类似如下的输出：

安装 Agentgateway + Kgateway

Kgateway 是控制平面（“大脑”），而 Agentgateway 是负责所有 Agent 流量的 AI 启用数据平面/代理。

安装 Kubernetes Gateway API CRD

kubectl apply -f https://github.com/kubernetes-sigs/gateway-api/releases/download/v1.4.0/standard-install.yaml

安装 Kgateway CRD

helm upgrade -i --create-namespace --namespace kgateway-system kgateway-crds \
    oci://cr.kgateway.dev/kgateway-dev/charts/kgateway-crds \
    --version v2.1.1 \
    --set controller.image.pullPolicy=Always

安装启用 Agentgateway 的 Kgateway

helm upgrade -i -n kgateway-system kgateway \
    oci://cr.kgateway.dev/kgateway-dev/charts/kgateway \
    --version v2.1.1 \
    --set agentgateway.enabled=true \
    --set controller.image.pullPolicy=Always

验证控制平面安装

kubectl get pods -n kgateway-system

列出可用的 GatewayClass

kubectl get gatewayclass

预期输出

NAME           CONTROLLER                  ACCEPTED   AGE
agentgateway   kgateway.dev/agentgateway   True       20h
kgateway       kgateway.dev/kgateway       True       20h

LLM Gateway 创建

在安装了 AI Agent 框架（kagent）和 AI 网关（agentgateway）后，你现在可以配置与 LLM 相关的流量。

为你的 AI 提供商创建密钥（Anthropic 示例）

apiVersion: v1
kind: Secret
metadata:
  name: anthropic-secret
  namespace: kagent
  labels:
    app: agentgateway
type: Opaque
stringData:
  Authorization: $ANTHROPIC_API_KEY

应用清单：

kubectl apply -f -

注意： 在托管的 Kubernetes 集群上，Gateway 将获得一个公共 IP。 在本地集群中，你可能需要使用 kubectl port-forward 对该服务进行端口转发。

定义指向 LLM 的 Backend

apiVersion: gateway.kgateway.dev/v1alpha1
kind: Backend
metadata:
  name: anthropic
  namespace: kgateway-system
  labels:
    app: agentgateway
spec:
  type: AI
  ai:
    llm:
      anthropic:
        authToken:
          kind: SecretRef
          secretRef:
            name: anthropic-secret
        model: "claude-3-5-haiku-latest"

应用清单：

kubectl apply -f -

:8080/anthropic 端点将安全地路由到 Anthropic LLM，使你能够端到端地观察和控制 AI 相关流量。