EU AI Act: 코드, 모델, 그리고 사용자에게 의미하는 바

Source: Dev.to

위험 피라미드: 위험도에 따라 준수 수준이 달라진다

이 법은 AI 시스템을 기본 권리와 안전에 미칠 수 있는 해악 정도에 따라 세 단계로 분류한다. 개발자로서 여러분의 의무는 시스템이 속한 위험 등급에 비례한다.

1. 금지 구역 (용납할 수 없는 위험)

이러한 AI 시스템은 인간의 권리와 민주주의에 해롭기 때문에 전면 금지된다.

주요 금지 항목

• 정부에 의한 사회 점수 매기기 – 개인의 사회적 행동이나 개인적 특성을 평가·분류해 “점수”를 부여하고 불리한 대우를 하게 하는 시스템.
• 인지 행동 조작 – 잠재 의식 기법을 사용해 사람의 행동을 실질적으로 왜곡시켜, 원래는 내리지 않을 해로운 결정을 하게 만드는 AI(예: 매우 기만적인 인터페이스 또는 포식적인 AI 기반 장난감).
• 무차별 얼굴 이미지 수집 – 인터넷이나 CCTV 영상에서 대량으로 얼굴 이미지를 수집해 얼굴 인식 데이터베이스를 만드는 행위.

개발자 요점: 이 금지는 절대적이다. 설계에 대규모 데이터 착취나 조작적인 심리 기법이 포함된다면 비준수이다.

2. 준수 관문 (고위험 AI)

고위험 AI 시스템은 개인의 삶, 안전 또는 기본 권리에 중대한 영향을 미치는 핵심 분야에서 사용된다. 금지는 아니지만 EU 내 배포 전에 엄격한 요구사항을 충족해야 한다.

고위험으로 분류될 가능성이 높은 분야

• 고용 및 근로자 관리 – 이력서 정렬, 후보자 선별, 직원 성과 평가 도구.
• 핵심 민간·공공 서비스 – 신용 점수 산정이나 공공 복지 자격 판단 시스템.
• 법 집행 및 사법 – 증거 평가, 위험도 평가, 범죄 예측 등에 사용되는 AI.
• 중요 기반 시설 – 교통, 물, 가스, 전기 공급을 제어하는 AI.

새로운 의무 (‘필수’ 항목)

• 위험 관리 시스템 – 설계부터 폐기에 이르는 AI 전 생애주기 전반에 걸쳐 지속적이고 문서화된 위험 관리 프로세스를 구축한다.
• 고품질 데이터 및 데이터 거버넌스 – 학습·검증·테스트 데이터셋이 엄격한 품질 기준을 충족하고 편향을 적극적으로 완화하도록 한다.
• 기술 문서 및 로깅 – 설계, 기능, 제한 사항 등을 상세히 기록한 기술 문서를 유지하고, 추적성을 위해 자동 이벤트 로깅을 활성화한다.
• 인간 감독 – 인간이 효과적으로 모니터링하고 제어할 수 있도록 시스템을 설계하며, 명확한 “정지”·“우회” 메커니즘 및 해석 가능한 출력을 제공한다.
• 정확성, 견고성 및 사이버 보안 – 오류, 오용 및 보안 위협(예: 적대적 공격)에 대한 복원력을 확보한다.

개발자 요점: 고위험 시스템에서는 거버넌스가 핵심 기능이다. 감사 가능성, 견고한 테스트, 완벽한 데이터 라인에지를 최우선으로 한다.

3. 투명성 의무 (제한·최소 위험)

대부분의 AI 애플리케이션—예: 스팸 필터, 비디오 게임 NPC—은 최소 위험 범주에 속하며 규제가 거의 없다. 그러나 사용자와 직접 상호작용하거나 콘텐츠를 생성하는 시스템은 투명성 의무가 있다.

주요 투명성 요구사항

• 생성형 AI (GPAI) 모델 – 기본 모델 제공자(예: GPT, Claude와 같은 LLM)는 학습에 사용된 데이터(특히 저작권이 있는 데이터)를 문서화하고 불법 콘텐츠 생성을 방지하는 정책을 구현해야 한다.
• 챗봇 및 인터랙티브 – 사용자와 상호작용하도록 설계된 AI(고객 서비스 챗봇, AI 치료사 등)는 인간이 아니라 기계와 대화하고 있음을 명시해야 한다.
• 딥페이크·합성 콘텐츠 – AI가 생성하거나 크게 변형한 오디오, 비디오, 이미지에는 합성임을 명확히 하고 기계가 읽을 수 있는 형태로 라벨링해야 한다.

개발자 요점: 사용자와 마주하는 생성형 애플리케이션에서는 “공개”가 황금률이다. 기계임을 명확히 라벨링하라; 투명성은 사용자 신뢰를 구축한다.

기술 커뮤니티를 위한 마무리 생각

EU AI 법은 단순한 규제 집합이 아니라 책임 있는 AI 개발을 위한 전 세계 청사진이다. 우리는 “이걸 만들 수 있나?”에서 “이걸 만들어야 하는가? 그리고 어떻게 안전하게 만들 것인가?”로 초점을 전환해야 한다.

• 데이터 거버넌스 역량 강화 – 데이터 라인에지, 편향 탐지, 품질 관리 이해가 이제 핵심 엔지니어링 요구사항이다.
• 문서화 우선 – 기술 문서(스펙, 테스트, 위험 보고서)는 시스템의 합법성을 입증하는 증거이며, 단순한 준수 작업이 아니다.
• 투명하게 구축 – 의심스러운 경우 라벨링하고 공개하라. 사용자 신뢰는 AI 시대 가장 귀중한 자산이다.

법 시행은 향후 몇 년에 걸쳐 단계적으로 이루어지므로 조직이 적응할 시간을 제공한다. 지금 내부 AI 감사를 시작하라: 조직 내 모든 AI 시스템을 식별하고 위험 등급을 분류한 뒤, 제품 로드맵에 준수를 내재화하라.