당신의 앱을 모르는 AI 테스트의 문제

Source: Dev.to

AI‑generated Cypress tests

AI가 생성한 Cypress 테스트는 기대감을 주지만—기본적으로 AI는 여러분의 앱을 한 번도 본 적이 없습니다.

흥미로운 부분은 “AI가 테스트를 작성했다”는 것이 아니라, 여러분 팀의 Swagger 스펙, 컴포넌트 문서, 버그 히스토리에 기반한 AI가 여러분이 놓칠 수 있는 부분을 커버할 수 있느냐입니다.

Retrieval‑Augmented Generation (RAG)

여기서 RAG가 등장합니다. RAG(검색‑증강 생성)는 쿼리 시점에 여러분의 문서를 AI에 제공하는 패턴입니다. 일반적인 모델이 버튼 라벨이나 API 경로를 추측하는 대신, 팀이 이미 사용하고 있는 동일한 진실의 원천을 기반으로 동작합니다.

Cypress’s experimental cy.prompt() command

이에 cy.prompt() — Cypress의 실험적인 AI‑네이티브 테스트 작성 명령어 — 를 결합하면 흥미로운 일이 일어납니다. AI가 더 정밀하게 동작하고, 여러분의 엔드포인트에 매핑할 수 있으며, 놓쳤던 흐름을 찾아낼 수도 있습니다.

Limitations

하지만 이것이 만능은 아닙니다. 사람은 여전히 더 나은 어설션을 작성합니다. AI는 폭넓은 커버리지를 제공하고, 사람은 의도를 보완합니다. 그리고 문서에 전혀 포함되지 않은 컨텍스트는 테스트에도 반영되지 못합니다.

Open question

AI‑생성 테스트를 여러분의 앱에 적용해 본 적이 있다면: AI가 실제로 앱에 대해 얼마나 알고 있었나요?