왜 진리를 찾는 탐구가 그것을 의문하는 탐구보다 더 가치 있을 수 없는가
Source: Dev.to
번역을 진행하려면 번역이 필요한 전체 텍스트를 제공해 주시겠어요? 텍스트를 주시면 요청하신 대로 한국어로 번역해 드리겠습니다.
소개
OpenAI, Gemini 및 기타 서비스가 청구하는 비용의 일부만으로도 훨씬 더 나은 결과를 제공하는 오픈‑소스 딥 리서치 엔진을 어떻게 구축했는지에 대한 이야기입니다.
안녕하세요, LessWrong 커뮤니티 여러분, 개발자 여러분, 그리고 관심 있는 모든 분들. 이곳에 처음 글을 올리게 되었으며, 커뮤니티의 원칙에 부응할 수 있기를 바랍니다.
문제
우리는 기술 발전에 따라 지식과 진실의 가치가 기하급수적으로 증가하는 빠르게 변화하는 사회에 살고 있습니다. AI‑생성 콘텐츠와 “가짜 문화” 시대에, 자동으로 생성되고 사실 확인된 지식은 점점 더 중요해지고 있습니다.
동시에 우리는 “효율성”과 “생산성”이라는 압박에 계속 노출됩니다. 누가 실제로 깊이 있는 연구를 수행하고, 정보를 검증하거나 사실을 확립할 여유가 있을까요? 사실상 거의 없습니다.
그래서 사람들은 딥‑리서치 엔진을 찾게 됩니다. Google, OpenAI, Perplexity 등은 더 깊은 검색을 빠르고 “쉽게” 수행할 수 있는 방법을 제공하지만, 과연 우리가 진정으로 필요로 하는 요구를 충족시키고 있을까요? 저는 여러 이유 때문에 그렇지 않다고 생각합니다.
기존 도구들의 문제점
- 부정확하거나 환각된 인용 및 출처 – Perplexity와 같은 도구는 그럴듯한 출처를 나열하지만, 실제로는 존재하지 않거나 내용이 부정확한 경우가 많습니다.
- 거짓된 안심감과 비용 제한 – 제공자는 고품질 검색을 약속하지만, 실제로는 출처를 제한하거나 열등한 모델을 사용합니다. 전체 성능을 활용하려면 비싼 구독이 필요합니다.
- 기능적 환각 – 예를 들어 OpenAI의 Deep Research는 자신이 할 수 없는 작업이나 도구를 사용할 수 있다고 거짓 사실을 반복적으로 생성합니다.
- 진실에 대한 게이트키핑 – 구독 제한 및 콘텐츠 검열이 정보 접근을 제한합니다. 진정으로 개방된 검색은 달라야 합니다.
- 투명성 부족 – 방법론, 출처 활용 및 처리 과정이 블랙박스 뒤에 가려져 있습니다.
요컨대, 오늘날의 딥‑리서치 도구들은 틈새를 메우지만 사용자가 진정으로 원하는 연구 도구의 기준에는 미치지 못합니다.
Lutum Veritas 연구 프로젝트
저는 독일 출신의 37세 자가 학습 IT 커리어 전환자 마틴입니다. 저는 직접 사용할 소프트웨어가 필요했고, 진실은 유료 장벽 뒤에 숨겨져서는 안 된다고 생각해 이를 오픈 소스로 공개하고 싶었습니다. 처음부터 소프트웨어의 핵심 아이디어는 명확했습니다:
- 구독 없음, 유료 장벽 없음 – 자체 키를 사용하고 사용량에만 비용을 지불하세요.
- 강력한 소스 스크래핑 및 검색 – AI가 생성한 SEO 자료뿐만 아니라 인터넷에서 “DIRT”(먼지)와 “ESSENCE”(본질)까지 가져옵니다. 그래서 Lutum Veritas – 먼지 속에서 진실을 추출합니다.
- 검열 없음 – 원하는 것을 검색하고 허가나 규정 제한 없이 답변을 받으세요.
- 오픈 소스 및 결정론적 – 설계 자체가 투명합니다.
- 더 깊고 상세한 검색 – 현재 시장이 제공하는 것보다 훨씬 뛰어난 결과.
자기 비판
저는 이 소프트웨어가 완벽하다고 주장하거나 전 세계 모든 분야에서 모든 다른 도구를 능가한다고 주장하는 것이 아닙니다. 제가 만든 것은 독립형 BYOK(자신의 키를 가져오는) 오픈소스 심층 연구 도구이며:
- 정기 구독이나 API 심층 연구 서비스 비용의 일부만으로 검색을 수행합니다.
- “학술 심층 연구 모드”를 포함하여 200 000자를 초과하는 보고서를 생성할 수 있는 훨씬 더 깊고 상세한 분석을 제공합니다.
- 컨텍스트 전송이 구현된 방식 덕분에 주요 시장 플레이어보다 훨씬 더 많은 인과 관계를 인식합니다.
버그와 불완전함은 존재할 수 있지만, 개발은 계속 진행 중입니다.
테스트 담당자 모집
추가 개발을 위해서는 테스터와 피드백이 필요합니다. 모든 개발자, 연구자, 혹은 관심 있는 분들을 초대하여 소프트웨어를 테스트하고, 도전하고, 저에게 도전해 주시길 바랍니다. 여러분의 의견은 도구를 높은 기준에 맞추고 약속을 실현하도록 다듬는 데 도움이 될 것입니다.
참여하기
GitHub: