Pacific Northwest National Laboratory와 OpenAI, 연방 허가 가속화를 위해 파트너십 체결
Source: OpenAI Blog
연방 정부가 핵심 인프라에 대한 허가 방식을 현대화하는 것은 더 빠르고, 더 안전하며, 더 경쟁력 있는 미국 경제를 구축하는 데 필수적입니다. 에너지 프로젝트와 첨단 제조부터 교통 및 물 시스템에 이르기까지, 허가는 유망한 아이디어가 실제 투자로 전환되는 속도를 결정합니다. 하지만 현재 환경 및 기술 검토는 종종 수년이 걸려 혁신을 늦추고 비용을 증가시키며 지역사회에 대한 혜택을 지연시킵니다.
OpenAI와 PNNL 협력
OpenAI는 미국 에너지부 산하 태평양 북서부 국립 연구소(PNNL)와 그들의 PermitAI™ 팀과 협력하여 코딩 에이전트가 연방 허가 작업을 가속화할 수 있는지 평가하고 있습니다. PermitAI는 DOE 정책실의 지원을 받아 진행된 이니셔티브로, 국가 환경 정책법(NEPA) 검토 과정에 대한 19명의 주제 전문가와 협력하여 —DraftNEPABench—라는 벤치마크를 설계했으며, 이는 환경 영향 평가서(EIS) 작성과 같은 NEPA 워크플로와 관련된 작업에서 AI 성능을 평가하기 위한 것입니다.
PermitAI Benchmark (DraftNEPABench)
이 벤치마크는 18개 연방 기관의 NEPA 문서 섹션에 걸친 대표적인 초안 작업 세트를 다룹니다. 전문가들은 AI가 생성한 초안을 구조, 명확성, 정확성 및 참고문헌을 기준으로 1‑5 척도(1 = 중대한 결함, 3 = 부분적으로 정확, 5 = 완전 정확)로 평가했습니다. 102개의 작업에 대한 평균 점수는 주관 기관별로 집계되었습니다.
102개 작업에 대한 평균 평가 점수(1‑5 척도), 주관 기관별로 그룹화. 점수는 구조, 명확성, 정확성 및 참고문헌에 대한 평가를 종합한 것입니다.
주요 결과
- 일반화된 코딩 에이전트(예: Codex CLI)는 섹션당 1~5시간의 초안 작성 시간을 줄일 수 있으며, 전체 초안 작성 노력에서 대략 15 % 감소에 해당합니다.
- 에이전트는 다음과 같은 능력을 보여주었습니다:
- 수백 페이지에 달하는 기술 및 규제 문서를 읽고 종합함.
- 여러 환경, 엔지니어링 및 규제 소스에 걸쳐 사실을 검증함.
- 고도로 구체화된 법적·기술적 기준을 충족하는 구조화된 보고서를 작성함.
이러한 결과는 복잡한 정부 업무 흐름에 대한 AI 지원이 의미 있는 진전을 이루었음을 시사합니다.
코딩 에이전트의 역량
모델에 명령줄 인터페이스(주로 코딩 작업에 사용)를 제공함으로써, 수작업으로 만든 휴리스틱보다 더 일반적인 문제 해결 전략을 사용할 수 있습니다. 이 접근 방식은 에이전트가 다음을 수행하도록 합니다:
- 파일 시스템 탐색을 통해 관련 데이터를 검색하고 정리합니다.
- 추론 파이프라인 실행으로 자연어 이해와 프로그래밍 데이터 조작을 결합합니다.
- 동적 출력 생성, 예를 들어 웹 기반 보고서와 인터랙티브 시각화 등을 제공하여 정적 PDF를 넘어섭니다.
정부 업무 흐름에 대한 시사점
- 기관은 제안을 보다 효율적으로 검토, 다듬고 승인할 수 있어 인간 검토자는 판단, 감독 및 복잡한 의사결정에 집중할 수 있다.
- AI가 보강된 팀은 허가 업무의 시간 소모적인 부분을 처리하여 프로젝트 개발을 가속화하고 미국의 경쟁력을 강화한다.
- 벤치마크는 현재 모델이 인간을 책임감 있게 지원할 수 있는 영역을 강조하면서 그 한계도 명확히 한다.
제한 사항 및 향후 방향
- 벤치마크는 사용 가능한 컨텍스트가 있는 명확히 정의된 초안 작업을 평가하지만, 실제 허가 결정의 전체적인 모호성과 재량을 포착하지 못합니다.
- 오류는 때때로 오래된 참고 자료나 약한 평가 기준에서 비롯되어, 루브릭 업데이트를 촉발했습니다.
- 명시적인 지시가 없으면 불완전하거나 일관성 없으며 최신이 아닌 소스 자료가 눈에 띄지 않을 수 있습니다.
- 실제 적용에서는 전문가 피드백과 반복적인 개선을 통합할 것으로 예상되며, 이는 벤치마크 결과를 넘어선 성능 향상을 가져올 가능성이 높습니다.
Looking Ahead
OpenAI는 PNNL이 PermitAI™에 대한 솔루션을 더욱 개발하고 정교화하도록 지원하고 있습니다. 시간이 지나면서 연방 검토 인프라 프로젝트의 평균 승인 소요 시간이 몇 달에서 몇 주로 단축될 수 있어 개발을 가속화하고 장기적인 경제 성장을 지원하며, 미국이 Intelligence Age에 번영하도록 돕습니다 (Sam Altman’s essay).