AI 트레이딩: 교훈 #105: 포스트 트레이드 RAG Sync가 누락되었습니다

Source: Dev.to

Incident Summary

• Date: 2026년 1월 7일
• Severity: HIGH
• Category: data-integrity, observability, mandate‑violation

Issue

2026년 1월 6일 CEO 검토 중에 거래가 실행 후 Vertex AI RAG 또는 ChromaDB에 기록되지 않고 있음을 발견했습니다.

• 사전 세션 RAG 체크가 존재했습니다(거래 전 교훈을 읽음).
• 사후 세션 동기화가 구현되지 않았습니다(거래 후 데이터를 기록).

Impact

• CLAUDE.md 의무 위반:

  “모든 거래와 교훈을 ChromaDB와 Vertex AI RAG 모두에 기록하십시오 (필수)”

• JSON 백업은 정상 작동했지만 데이터가 벡터 데이터베이스에 동기화되지 않았습니다.
• CEO는 Vertex AI에 데이터가 없어서 Dialogflow를 통해 거래를 조회할 수 없었습니다.
• 2026년 1월 3일‑6일 사이의 거래가 RAG 데이터베이스에 누락되었습니다.
• 거래 내역에 대한 Dialogflow 조회 결과가 없음으로 반환되었습니다.
• 학습 루프가 끊겨서 기록되지 않은 거래로부터 학습할 수 없었습니다.

Root Cause

거래 후 RAG에 동기화하는 단계가 구현되지 않아 사전 체크만 남아 있었습니다.

Resolution

• scripts/sync_trades_to_rag.py 를 추가하여 거래를 Vertex AI와 ChromaDB에 동기화하도록 했습니다.
• daily-trading.yml 에 “Sync Trades to RAG (Post‑Execution)” 단계를 추가하여 매 거래 세션 후에 실행하고, JSON 백업으로 우아하게 폴백하도록 했습니다.

Implementation Details

• Script: scripts/sync_trades_to_rag.py – Vertex AI와 ChromaDB에 기록을 처리합니다.

• Workflow change:

  # daily-trading.yml
  - name: Sync Trades to RAG (Post-Execution)
    run: python scripts/sync_trades_to_rag.py
    continue-on-error: true   # fallback to JSON if sync fails

• 이 단계는 각 거래 세션 후에 실행되어 사전‑비행 및 사후‑비행 데이터 영속성을 모두 보장합니다.

Recommendations

1. 중요 흐름에 대해 사전‑비행 및 사후‑비행 단계가 모두 존재하는지 확인하십시오.
2. 엔드‑투‑엔드 데이터 흐름을 테스트하십시오:
   • 거래 실행 → JSON에 기록 → RAG에 동기화 → Dialogflow를 통해 조회.
3. RAG 코퍼스 크기와 JSON 거래 수를 모니터링하여 향후 불일치를 조기에 감지하도록 합니다.

Tags

rag, vertex-ai, chromadb, data-sync, post-execution, mandate-compliance

Related

More lessons: rag_knowledge/lessons_learned