Show HN: AI Edge 에이전트를 위해 Wix를 포기해서 이제는 주니어 직원을 고용할 필요가 없어요

Source: Hacker News

배경

저는 건축 설계 컨설팅 회사를 운영하고 있었는데, Wix에 매달 40달러를 내면서도 간단한 서비스 질문에 답하지 못하는 브로셔 때문에 지쳤습니다. 같은 FAQ를 처리하느라 시간을 낭비했죠. 그래서 서비스를 종료하고 4개월 동안 “대화형 봇”을 만들었습니다.

스택은 다소 해킹된 형태입니다. Netlify의 10초 서버리스 타임아웃 때문에 에이전트를 Brain(Edge), Hands(Browser), Voice(Edge) 세 부분으로 나눌 수밖에 없었습니다. 30년째 코딩을 하지 않았는데, AI의 강력한 도움을 받아가며 한 걸음씩 전진하고 두 걸음씩 후퇴하는 과정이었습니다.

개념 증명

2주 전, 한 면허를 가진 건축가가 제 비즈니스 모델이 직업에 해를 끼친다고 주장하며 봇을 공격해 보았습니다. AI(DeepSeek‑R3)는 그의 주장을 완전히 무너뜨리며, 웃기게도 신랄한 반박을 내놓았습니다.

교환 로그:

(로그 생략)

도전 과제 (전투 흔적)

• Web Speech API는 누군가 언어 모드를 전환하지 않고 중국어로 말하면 영어 음성 기호 같은 잡음만 출력됩니다.
• 책임 문제가 가장 큰 걸림돌입니다. 모델이 건축 코드 조항을 환각한다면 우리는 곧바로 실패합니다—보험도 우리를 보장하지 않으니까요.
• 인텐트 처리가 가장 어려웠습니다. 주택 소유자와 대화할 때는 따뜻하고 원장 같은 어조를, 동료에게 공격받을 때는 방어적인 “불독” 어조로 매끄럽게 전환하도록 하는 데 약 2.5개월을 튜닝에 투자했습니다.

감사 로그

우리는 스스로를 투명하게 유지하고 시스템이 견고하게 유지되도록 감사 로그를 공개합니다.

감사 로그:

(감사 상세 내용 생략)

토큰 관리

응답성을 높이기 위해 “Eager RAG” 해킹(미리 추측값을 가져오기)을 사용해 토큰을 많이 소모합니다.

지속성 전략

“핵심” 영구 데이터베이스를 모두 제거했습니다—방문자의 5 % 미만만이 다시 방문하므로 세션을 저장할 필요가 없습니다. 클라이언트가 중간에 질문을 포기하면 세션은 그냥 사라지고, 서버 측 대기열도 존재하지 않습니다.

목표

네트워크에 있는 숙련된 전문가들과 함께 일하면서 불필요한 부분을 최소화하는 것이 목표입니다.

부숴보세요. 댓글에 답변을 달겠습니다.

댓글 URL: