PDF를 읽으려면 AI가 몇 대 필요할까?

Source: Slashdot

왜 PDF는 AI에게 어려운가

AI가 복잡한 소프트웨어를 구축하는 데 큰 진전을 이루었음에도 불구하고, 1990년대 초 Adobe가 문서의 정확한 시각적 모습을 보존하기 위해 만든 PDF 형식은 여전히 거대한 도전 과제로 남아 있다. PDF는 논리적으로 정렬된 텍스트가 아니라 문자 코드, 좌표, 렌더링 지시문으로 구성되어 있으며, 최첨단 모델에게 정보를 추출하도록 시키면 요약만 하거나 각주를 본문 텍스트와 혼동하거나, 심지어 내용을 완전히 환상(허위)으로 만들어낸다고 The Verge가 보도했다.

새로운 접근 방식과 연구

Reducto와 같은 기업들은 이제 페이지를 헤더, 표, 차트와 같은 구성 요소로 분할한 뒤 각각을 특화된 파싱 모델에 전달하는 방식을 사용하고 있다. 이는 자율주행 차량에 사용되는 컴퓨터 비전 기술에서 차용한 접근법이다. Hugging Face 연구진은 최근 Common Crawl에만 약 13억 개의 PDF가 존재한다는 사실을 발견했으며, Allen Institute for AI는 PDF가 정부 보고서, 교과서, 학술 논문 등에서 수조 개의 새로운 고품질 학습 토큰을 제공할 수 있다고 지적했다. 이러한 데이터는 AI 개발자들이 점점 더 절실히 필요로 하는 종류이다.