AI 에이전트에 Markdown 제공 (10배 작은 페이로드)

Source: Dev.to

Overview

Guillermo Rauch가 Vercel의 changelog가 이제 에이전트가 요청할 경우 Markdown을 제공한다는 사실을 공유했습니다—같은 URL이지만 다른 Accept 헤더를 사용합니다.
핵심 인사이트는 단순히 크기 감소가 아니라, 전체 인프라 레이어(CSS, JS, 프레임워크)가 성장하는 소비자 계층에게 선택 사항이 될 수 있다는 점입니다.

• 브라우저는 Accept: text/html을 보냅니다.
• 에이전트는 Accept: text/markdown을 보낼 수 있습니다.

두 경우 모두 같은 URL을 사용하지만 서로 다른 표현을 받습니다.

Implementation in Hugo

Hugo 설정에 Markdown을 위한 두 번째 출력 형식을 추가합니다:

[outputs]
page = ["HTML", "MARKDOWN"]

[outputFormats.MARKDOWN]
baseName = "index"
mediaType = "text/markdown"
isPlainText = true

Middleware (Vercel Edge)

Accept 헤더에 text/markdown이 포함된 경우 요청을 재작성하는 Edge 미들웨어를 배포합니다:

export const config = { matcher: ['/', '/posts/:path*'] }

export default async function middleware(request) {
  if (request.headers.get('accept')?.includes('text/markdown')) {
    const url = new URL(request.url)
    url.pathname = url.pathname.replace(/\/?$/, '/index.md')
    return fetch(url)
  }
}

Testing the Endpoint

curl -H 'Accept: text/markdown' https://evoleinik.com/posts/markdown-for-agents/

응답 크기가 ~20 KB(HTML)에서 ~2 KB(Markdown)로 감소합니다—약 10배 감소. Vercel의 changelog는 250배 감소를 보이지만, 10배 절감만으로도 충분히 큰 효과가 있습니다.

Benefits

• 축소된 페이로드는 대역폭과 AI 에이전트의 토큰 사용량을 낮춥니다.
• 단순한 콘텐츠는 다운스트림 처리에 더 깔끔한 컨텍스트를 제공합니다.
• 정적 사이트(예: Hugo)는 원본 포맷이 Markdown이기 때문에 쉽게 제공할 수 있습니다.

Considerations

• 정적 생성기에서는 두 출력 포맷을 유지하는 것이 간단합니다.
• 동적 사이트나 SPA의 경우 서버‑사이드에서 Markdown을 생성하거나 병행 콘텐츠를 유지하는 것이 더 복잡할 수 있습니다.
• 에이전트 트래픽이 증가하고 있어, 가볍고 구조화된 콘텐츠의 가치가 점점 커지고 있습니다.

시각적 웹은 인간 브라우저를 위해 구축되었지만, 에이전트 웹은 장식 자산을 생략하고 간결하고 기계가 읽을 수 있는 콘텐츠에 집중할 수 있습니다.