당신의 AI summarizer가 자체 chain-of-thought를 누출하고 있습니다. 여기 30줄 수정.

Source: Dev.to

문제: 요약 API가 추론 흔적을 누출

제 프로덕션 요약 API가 내부 chain‑of‑thought을 사용자에게 노출하는 것을 발견했습니다.
다음 텍스트를 보냈을 때:

Quick test: Anthropic released Claude Opus 4 with extended thinking and a new agent SDK. It has 200k context and improved coding.

응답에 다음이 포함되었습니다:

{
  "summary": "\nOkay, the user wants a concise summary of the given text in 2–3 sentences. Let me read the original text again: \"Quick test: Anthropic released Claude Opus 4...\"\n\nFirst, I need to identify the key points. The main elements are the release of Claude Opus 4 by Anthropic, the features mentioned are extended thinking, a new agent SDK, 200k context, and improved coding.\n\nThe user wants it direct and clear..."
}

깨끗한 두 문장 요약 대신 모델의 내부 독백이 반환되었습니다. 이후 호출에서는 가끔 정상적인 요약이 나오기도 했지만, 누출이 간헐적으로 다시 나타났습니다.

왜 발생하나요

많은 팀이 요청을 여러 제공업체(예: DeepSeek‑R1, QwQ, Qwen3‑thinking, gpt‑oss)를 통해 라우팅합니다. 이 네 가지 모델군 모두 추론 흔적을 출력합니다:

• DeepSeek‑R1 / QwQ / Qwen3 – 생각을 ... 로 감쌉니다.
• gpt‑oss – analysis와 “ 같은 태그를 사용하는 “harmony” 형식을 사용합니다.

호스팅된 API는 종종 이러한 태그를 제거하지만, 자체 호스팅, OpenRouter 및 저가 제공업체는 제거하지 않습니다. 추론 모델이 존재하기 전에 포스트 프로세서를 작성했다면, “ 혹은 harmony 태그를 인식하지 못해 클라이언트에게 그대로 전달하게 됩니다.

해결 방법: 추론 흔적 제거