Show HN: Finalrun – 영어와 비전을 활용한 모바일 앱용 Spec-driven 테스트

Source: Hacker News

Overview

나는 XPath나 접근성 ID와 같은 깨지기 쉬운 셀렉터에 의존하지 않고, 순수한 영어로 모바일 앱을 테스트하고 싶었다. 비전 기반 에이전트를 사용하면 실제로 그 부분이 잘 작동한다. 화면을 보고, 의도를 이해하고, Android와 iOS 전반에 걸쳐 동작을 수행할 수 있다.

Challenges

더 큰 문제는 테스트가 어떻게 정의되고 관리되는가에 있었다. 테스트 흐름을 코드베이스 외부에 보관하고(수동으로 작성하거나 PRD에서 생성) 하면, 앱과 빠르게 동기화가 깨진다. 이를 업데이트하는 데 많은 노력이 필요하고, 시간이 지남에 따라 신뢰성이 떨어진다.

그 후 나는 테스트를 코드베이스에서 직접 생성하도록 시도했다(MCP 사용). 동기화는 개선되었지만, 토큰 사용량이 급증하고 생성 속도가 느려졌다.

내게 전환점이 된 것은 테스트 생성이 일회성 단계가 되어서는 안 된다는 깨달음이었다. 테스트는 코드베이스와 함께 존재해야 동기화가 유지되고 더 많은 컨텍스트를 가질 수 있다.

Solution

나는 실행은 비전 기반(깨지기 쉬운 셀렉터 없음)으로 유지하면서, 테스트 생성을 레포지토리와 더 가깝게 옮겼다.

Open Source

• 코드베이스 컨텍스트에서 테스트 생성
• YAML 기반 테스트 흐름
• Android와 iOS 전반에 걸친 비전 기반 실행

Repo:

Demo

Demo video:

데모에서는 “개발 후 인수인계” 과정을 볼 수 있다. AI가 IDE에서 기능을 구축하면 Finalrun이 즉시 해당 기능에 대한 비전 기반 테스트를 생성하고 실행하여 AI가 만든 기능을 검증한다.

Discussion

Comments: (Points: 11, Comments: 3)