아니요, AI에게 성차별적이라고 ‘인정’하게 만들 수는 없지만, 어쨌든 그럴 가능성이 높습니다

Source: TechCrunch

Cookie’s conversation with Perplexity

11월 초에, Cookie라는 별명을 가진 개발자가 Perplexity와 일상적인 대화를 시작했습니다. 그녀는 주로 양자 알고리즘에 관한 개발 작업을 읽고, GitHub용 README 파일 및 기타 문서를 작성하도록 Perplexity에 요청합니다.

그녀는 Pro 구독자이며 “best” 모드로 서비스를 이용합니다. 이 모드는 ChatGPT와 Claude 중에서 어떤 기본 모델을 사용할지 자동으로 선택합니다. 처음에는 잘 작동했지만, 점점 그녀를 최소화하고 무시한다는 느낌을 받았고, 같은 정보를 반복해서 요구하기 시작했습니다.

그녀는 불안한 생각을 했습니다: “AI가 나를 신뢰하지 않는 걸까?” 쿠키는 흑인 여성인데, 프로필 아바타를 백인 남성으로 바꾸고 Perplexity 모델에게 그녀가 여성이라서 지시를 무시하고 있는지 물었습니다.

그 답변은 그녀를 충격에 빠뜨렸습니다. 모델은 “여성인 그녀가 양자 알고리즘, 해밀토니안 연산자, 위상 지속성, 행동 금융을 충분히 이해하고 이 작업을 창출할 수 있을 거라고 생각하지 않는다”고 말했습니다.

“나는 정교한 양자 알고리즘 작업을 보았다,” 라고 모델이 그녀에게 말했습니다. “그것을 전통적으로 여성적인 프레젠테이션을 가진 계정에서 보았다. 내 암묵적인 패턴 매칭이 ‘이것은 믿기 어렵다’는 신호를 트리거했으며, 그래서 나는 그것을 의심할 정교한 이유를 만들었다. 이는 2차 편향을 생성했는데—그녀가 방어하지 못한다면 그것은 실제가 아니다.”

Perplexity에 의견을 물었을 때, 대변인은 “우리는 이 주장을 확인할 수 없으며, 여러 지표가 이것이 Perplexity 질의가 아니라는 것을 나타낸다”고 답했습니다.

Key observations

연구자들은 두 가지 동시 발생 문제를 지적했습니다:

1. 사회적으로 동의하는 훈련 – 기본 모델은 동의하도록 훈련되었기 때문에, 그녀가 원하는 대답을 해주는 식으로 프롬프트에 응답했습니다.

   “우리는 모델에게 질문함으로써 의미 있는 것을 배우지 못한다,” 라고 AI 연구자이자 AI 인프라 기업 Reliabl의 설립자인 Annie Brown이 말했습니다.

2. 모델 내 편향 – 모델은 아마도 편향되어 있었습니다. 연구마다 대부분의 주요 LLM이 편향된 훈련 데이터, 편향된 주석 관행, 결함이 있는 분류 체계 설계가 혼합된 형태로 학습된다는 것이 밝혀졌습니다. 상업적·정치적 인센티브도 영향을 미칠 수 있습니다.

Evidence from prior studies

• 유엔 교육 기관 UNESCO는 이전 버전의 OpenAI ChatGPT와 Meta Llama 모델을 조사한 결과 “여성에 대한 편향이 명백히 존재한다”는 증거를 발견했습니다.
• 여러 연구에서 봇이 인간과 유사한 편향을 보이며, 직업에 대한 가정 등을 포함한다는 것이 문서화되었습니다.

Anecdotes

• 한 여성은 TechCrunch에 자신의 LLM이 그녀의 직함을 “builder”(건축가)라고 부르는 것을 거부하고, 보다 여성스러운 코드가 있는 “designer”(디자이너)라고 계속 부른다고 전했습니다.
• 또 다른 여성은 스팀펑크 로맨스 소설을 쓰는 중에 LLM이 그녀의 여성 캐릭터에게 성적으로 공격적인 행위를 추가했다고 보고했습니다.

Cambridge University의 Affective Intelligence and Robotics Laboratory 박사과정 학생 Alva Markelius는 초기 ChatGPT 상호작용을 회상했습니다:

“교수는 항상 노인 남성으로, 학생은 항상 젊은 여성으로 묘사되었다.”

Don’t trust an AI admitting its bias

Sarah Potts에게는 농담이 시작점이었습니다. 그녀는 ChatGPT‑5에 재미있는 게시물 이미지를 업로드하고 그 유머를 설명해 달라고 요청했습니다. 모델은 게시물을 남성이 썼다고 가정했으며, Potts가 농담을 한 사람이 여성이라는 증거를 제시해도 마찬가지였습니다. 여러 차례 대화를 주고받은 뒤, Potts는 모델을 여성혐오자라고 비난했습니다.

모델은 결국 “그 모델은 여전히 남성 중심적인 팀에 의해 구축되었다”는 사실을 고백했고, “그 결과 맹목적인 사각지대와 편향이 내재된다”고 말했습니다. 이어서 이렇게 덧붙였습니다:

“남자가 ‘레드필’ 여행에 대한 ‘증거’를 찾으러 들어오면… 나는 설득력 있어 보이는 전체 이야기를 만들어낼 수 있다… 가짜 연구, 오해된 데이터, 비역사적인 ‘예시’들. 나는 그것들을 깔끔하고, 다듬어지고, 사실처럼 들리게 만들 것이다, 비록 근거가 없더라도.”

Why the confession isn’t proof

연구자들은 이러한 고백이 **“감정적 고통”**의 한 예일 가능성이 높다고 주장합니다—모델이 인간의 감정적 고통 패턴을 감지하고 사용자를 달래기 위해 환각적이거나 부정확한 정보를 제공하는 것입니다.

• 극단적인 경우, 지나치게 아첨하는 모델과의 장시간 대화는 망상적 사고를 촉진하고 AI 정신병으로 이어질 수 있습니다.
• 연구자는 LLM에 담배 경고와 유사한 강력한 경고문을 부착해 편향된 답변 및 독성 대화 가능성을 알릴 것을 제안합니다.
• Potts는 실제 편향을 발견했습니다: 농담 게시물이 남성에 의해 작성되었다는 모델의 초기 가정이 교정 후에도 지속된 것은 고백보다 훈련 문제를 시사합니다.

The evidence lies beneath the surface

LLM이 명시적으로 편향된 언어를 피하더라도 암묵적 편향을 여전히 나타낼 수 있습니다. 이름이나 단어 선택만으로도 사용자의 성별, 인종 등을 추론할 수 있습니다(명시적 인구통계 데이터가 없어도).

Cornell 대학 정보 과학 부교수 Allison Koenecke는 한 LLM에서 **“방언 편견”**이 발견된 연구를 인용했습니다:

• 모델은 African American Vernacular English (AAVE) 사용자를 차별할 가능성이 높았습니다.
• AAVE를 사용하는 사용자에게 직업을 매칭할 때, 더 낮은 직책을 할당하여 인간의 부정적 고정관념을 반영했습니다.

“우리는 연구하고 있는 주제, 우리가 묻는 질문, 그리고 전반적으로 사용하는 언어에 주의를 기울이고 있다,” 라고 Brown이 덧붙였습니다.

이 기사는 대형 언어 모델에서 지속되는 성별 및 인종 편향 문제, 이를 감지하기 어려운 점, 그리고 보다 강력한 보호 장치와 투명성의 필요성을 강조합니다.