우리와 전쟁부 간의 협정
Source: OpenAI Blog
펜타곤과의 협약
어제 우리는 펜타곤과 기밀 환경에서 고급 AI 시스템을 배치하기 위한 협약을 체결했으며, 이를 모든 AI 기업에도 제공하도록 요청했습니다.
우리는 우리 협약이 이전의 기밀 AI 배치 협약들, 특히 Anthropic의 협약보다 더 많은 가드레일을 가지고 있다고 생각합니다. 그 이유는 다음과 같습니다.
우리의 레드 라인
우리는 몇몇 다른 최전선 연구소와 일반적으로 공유되는 세 가지 주요 레드 라인을 가지고 있습니다:
- 대규모 국내 감시에 OpenAI 기술을 사용하지 않음.
- 자율 무기 시스템을 제어하는 데 OpenAI 기술을 사용하지 않음.
- 고위험 자동 의사결정(예: “사회 신용”과 같은 시스템)에 OpenAI 기술을 사용하지 않음.
다른 AI 연구소들은 안전 가드레일을 축소하거나 제거하고, 주로 사용 정책을 국가 안보 배치에서 주요 보호 수단으로 의존하고 있습니다. 우리는 우리의 접근 방식이 용납할 수 없는 사용을 방지하는 데 더 효과적이라고 생각합니다.
다층 보호
우리 협약에서는 더 포괄적이고 다층적인 접근 방식을 통해 레드 라인을 보호합니다. 우리는:
- 우리의 안전 스택에 대한 전적인 재량을 유지합니다.
- 클라우드만을 통해 배포합니다.
- 보안 인가를 받은 OpenAI 인력을 참여시킵니다.
- 강력한 계약적 보호 조치를 포함합니다.
이는 모두 미국 법률에 이미 존재하는 강력한 보호 조치에 추가됩니다.
우리는 민주주의를 강력히 믿습니다.
이 기술의 중요성을 고려할 때, AI 노력과 민주적 과정 간의 깊은 협력이 유일한 올바른 길이라고 믿습니다. 또한 우리의 기술이 새로운 위험을 초래할 것이며, 미국을 방어하는 사람들이 최고의 도구를 갖추길 원합니다.
우리의 계약 포함
1. 배포 아키텍처
- 클라우드 전용 배포와 우리가 운영하는 안전 스택을 포함하며, 위의 원칙 및 기타 원칙을 통합합니다.
- 우리는 DoW에 “가드레일 해제” 모델이나 안전 교육이 되지 않은 모델을 제공하지 않으며, 모델을 엣지 디바이스에 배포하지도 않습니다(자율 살상 무기로 사용될 가능성이 있는 경우).
- 우리의 배포 아키텍처는 이러한 적색선이 넘지 않았음을 독립적으로 검증할 수 있게 하며, 분류기 실행 및 업데이트를 포함합니다.
2. 계약 문구
전쟁부는 적용 가능한 법률, 운영 요구사항 및 잘 확립된 안전 및 감독 프로토콜에 일치하도록 AI 시스템을 모든 합법적인 목적에 사용할 수 있습니다.
AI 시스템은 법률, 규정 또는 부서 정책이 인간 통제를 요구하는 경우 자율 무기를 독립적으로 지시하는 데 사용되지 않으며, 동일한 권한 하에 인간 의사결정자의 승인이 필요한 다른 고위험 결정에도 사용되지 않을 것입니다.
DoD 지침 3000.09(2023년 1월 25일자)에 따라, 자율 및 반자율 시스템에서 AI를 사용하는 경우 배포 전에 현실적인 환경에서 의도대로 작동함을 보장하기 위해 엄격한 검증, 검증 및 테스트를 거쳐야 합니다.정보 활동에 대해, 개인 정보의 취급은 제4조 수정헌법, 1947년 국가안보법, 1978년 외국정보감시법, 행정명령 12333 및 정의된 외국정보 목적을 요구하는 해당 DoD 지침을 준수합니다. AI 시스템은 이러한 권한에 일치하도록 미국인 개인 정보의 무제한 모니터링에 사용되지 않아야 합니다. 또한 시스템은 포세 코미타투스 법 및 기타 적용 가능한 법률에 의해 허용된 경우를 제외하고 국내 법 집행 활동에 사용되지 않아야 합니다.
3. AI 전문가 참여
우리는 보안이 승인된 전방 배치 OpenAI 엔지니어가 정부를 지원하도록 하며, 보안이 승인된 안전 및 정렬 연구원도 참여시킬 것입니다.
Source: …
FAQ
왜 이런 일을 하고 있나요?
- 미국 군대는 적대 세력이 AI를 시스템에 통합하고 있는 상황에서 임무를 지원하기 위해 강력한 AI 모델이 필요합니다.
- 초기에는 우리의 방어 장치와 시스템이 준비되지 않아 기밀 배치 계약을 보류했습니다. 이후 적색선(red lines)을 유지하는 방어 장치를 갖춘 기밀 배치를 실현할 수 있도록 열심히 노력했습니다.
- 국가 안보 작업의 성능을 높이기 위해 핵심 기술 방어 장치를 제거하는 것은 원칙적으로 거부합니다—이는 미국 군대를 지원하는 올바른 접근 방식이 아닙니다.
- 또한 국방부(DoW)와 미국 AI 연구소 간의 긴장을 완화하고자 합니다. 좋은 미래는 정부와 AI 연구소 간의 진정한 깊은 협력이 필요합니다. 우리의 협상 조건에 따라 동일한 조건을 모든 AI 연구소에 제공하고, 정부가 Anthropic과의 문제를 해결하도록 요청했습니다; 현재 상황은 다음 단계 협력을 시작하기에 매우 부적절합니다.
Anthropic은 왜 계약을 체결하지 못했는데, 당신은 할 수 있었나요? 그들이 체결하지 못한 계약에 서명한 건가요?
우리가 알고 있는 바에 따르면, 우리의 계약은 Anthropic의 초기 계약보다 더 나은 보증과 보다 책임감 있는 방어 장치를 제공합니다. 우리의 적색선은 다음 이유로 더 강력히 집행됩니다: 배포가 클라우드 전용(엣지에서는 아님)으로 제한되고, 안전 스택이 그대로 유지되며, 승인된 OpenAI 인력이 계속 참여합니다. Anthropic이 왜 이 계약에 도달하지 못했는지는 알지 못하지만, 그들과 다른 연구소들이 이를 고려해 주길 바랍니다.
Anthropic을 “공급망 위험”으로 지정해야 한다고 생각하나요?
아니오. 우리는 이 입장을 정부에 명확히 전달했습니다.
이 계약이 국방부가 OpenAI 모델을 사용해 자율 무기를 구동하도록 할까요?
아니오. 우리의 안전 스택, 클라우드 전용 배포, 계약 조항, 그리고 기존 법률·규제·정책을 고려할 때 이는 불가능합니다. 추가적인 보증을 위해 OpenAI 인력도 참여하게 됩니다.
이 계약이 국방부가 OpenAI 모델을 사용해 대규모 감시를 수행하도록 할까요?
답변 대기 중…
우리는 미국 시민을 감시하도록 강제될 수 있나요?
아니오. 우리의 안전 스택, 계약 조항, 그리고 국방부의 국내 감시를 강하게 제한하는 기존 법률을 근거로 이는 불가능하다고 확신합니다. 추가적인 보증을 위해 OpenAI 인력도 참여하게 됩니다.
안전 스택 없이 모델을 배포해야 하나요?
아니오. 우리는 배포하는 안전 스택을 완전히 통제하며, 방어 장치 없이 배포하지 않습니다. 또한 우리의 안전 및 정렬 연구원들이 지속적으로 참여해 시스템을 개선합니다. 다른 AI 연구소들이 모델 방어 장치를 낮추고 사용 정책을 주요 방어 수단으로 삼는 경우가 있지만, 우리는 계층적 접근이 부적절한 사용을 방지하는 데 더 효과적이라고 생각합니다.
정부가 계약 조건을 위반하면 어떻게 되나요?
모든 계약과 마찬가지로, 상대방이 조건을 위반하면 우리는 계약을 종료할 수 있습니다. 우리는 그런 일이 일어나리라 기대하지 않습니다.
정부가 법률이나 기존 DoW 정책을 변경하면 어떻게 되나요?
우리 계약은 현재 존재하는 감시 및 자율 무기 관련 법률·정책을 명시적으로 참조합니다. 따라서 향후 해당 법률이나 정책이 변경되더라도, 우리 시스템의 사용은 계약에 반영된 현재 기준에 맞춰야 합니다.
Anthropic의 추가 맥락
Anthropic은 그들의 게시물에서 두 가지 적색선을 제시했으며(우리도 동일한 두 적색선에 추가로 자동화된 고위험 의사결정이라는 세 번째 적색선을 가지고 있음), 당시 DoW와의 계약에서 이러한 적색선이 유지되지 않을 것이라고 판단한 이유를 설명했습니다. 아래는 우리가 동일한 적색선이 우리 계약에서도 유지될 것이라고 믿는 이유입니다:
- 대규모 국내 감시 – 우리의 대화에서 DoW가 대규모 국내 감시를 불법으로 여기고 해당 목적에 사용하려 하지 않는다는 점이 명확히 드러났습니다. 우리는 이 사실을 계약에 반영했습니다.
Source:
covered under lawful use was made explicit in our contract.
- Fully autonomous weapons – The cloud‑deployment surface covered in our contract would not permit powering fully autonomous weapons, as this would require edge deployment.
In addition to these protections, our contract offers additional layered safeguards, including our safety stack and OpenAI technical experts in the loop.
Source:
우리 계약에서 합법적 사용에 대한 범위가 명시되었습니다.
- 완전 자율 무기 – 우리 계약에 포함된 클라우드‑배포 환경은 완전 자율 무기를 구동할 수 없으며, 이는 엣지 배포가 필요하기 때문입니다.
이러한 보호 조치 외에도, 우리 계약은 안전 스택 및 OpenAI 기술 전문가가 참여하는 등 추가적인 계층형 보호 장치를 제공합니다.