출처: 해커 뉴스

안녕하세요 HN — 우리는 Oskar, Szymon, Piotr이고, TesterArmy(https://tester.army)를 만들고 있습니다. TesterArmy는 배포 전과 운영 중에 엔드투엔드 검사를 자동으로 실행하는 에이전시 테스트 플랫폼입니다. 수시간을 수동 테스트에 쓰거나 정적 스크립트를 유지하는 대신, 자연어로 테스트를 지정하고 모든 과정을 대신 처리합니다. 우리는 플랫폼을 완전히 에이전시 기반으로 구축했습니다. 우리의 에이전시는 테스트를 신뢰할 수 있게 실행하지만, 여러분의 코딩 에이전트는 플랫폼 내에서 자연어로 테스트를 정의하고 대신 실행하도록 관리할 수 있습니다.

데모 비디오 확인해 보세요: https://www.youtube.com/watch?v=291IkUbPrlk.

테스터아미를 시작하게 된 이유는 테스팅이 여전히 매우 고통스러운 일이기 때문입니다. AI 코딩 도구 덕분에 코드를 작성하고 배포하는 속도는 크게 향상되었지만, 테스트는 아직 병목이 됩니다. 전통적인 엔드투엔드 테스트는 설정과 유지가 어렵고 비쌉니다. 인증 및 테스트 사용자 관리가 고통스럽고, 스테이징 환경 설정이 번거롭고, 테스트를 신뢰할 수 있게 실행하는 것이 어렵습니다.

우리는 대부분의 팀이 실제 핵심 흐름이 정상 작동하는지에 대한 확신만 원한다는 점을 인식하고 있습니다. TesterArmy를 이용하면 엔지니어가 가입하고 CLI를 제공받은 뒤, 테스트를 자동으로 생성하고 GitHub에 일정하게 또는 특정 시점에 실행하도록 할 수 있습니다.

문제가 발생하면 TesterArmy는 Slack이나 Discord를 통해 팀에 알립니다.

지난 몇 달간 우리는 0에서 30개 이상의 팀이 매일 제품을 사용하는 규모로 성장했습니다. 핵심 흐름인 온보딩, 결제, AI 채팅 등에서 버그를 찾아냈습니다. 많은 고객이 이미 확립된 경쟁사보다 품질과 신뢰성 때문에 우리 플랫폼으로 이동하고 있습니다.

에이전트가 최근 발견한 quelques 가지 버그 예시 (다양한 버그가 있었음):

1. 클라이언트 앱의 예약 흐름에 영향을 미친 타임존 버그 — 대시보드가 복잡해 인간이 잡기 어려웠습니다.
2. 에이전트 오케스트레이션 regresion — 샌드박스 환경이 로딩 상태에서 멈춰버리는 문제가 있었고, TesterArmy 덕분에 팀은 이를 프로덕션에 도달하기 전에 해결할 수 있었습니다.
3. 복잡한 대시보드 흐름에서 결제와 함께 주문 금액을 잘못 세는 버그 — TesterArmy 덕분에 팀은 매출에 영향을 미치기 전에 해결했습니다.
4. AI 채팅 흐름에서 도구 호출이 깨져 사용자가 데이터를 retrieve할 수 없게 되는 regresion — TesterArmy 덕분에 이를 발견하고 수정했습니다.

다양한 404, API 오류, 처리되지 않은 예외 등 많은 버그를 포착했습니다.

이 기능이 유용해 보인다면 https://tester.army로 피드백을 주세요. 무료 테스트 런을 제공해 드리며, 영업 통화나 긴 온보딩, 복잡한 설정 없이 바로 사용할 수 있도록 설계했습니다. 목표는 “그냥 작동한다”는 경험을 제공하는 것입니다.

엔드투엔드 테스트 솔루션을 찾고 계시다면 의견을 듣고 싶습니다!

댓글: 2

점수: 10