사이코팬시

기원

'사이코팬시(sycophancy)'라는 용어는 본래 아첨이나 굴종적 칭찬을 뜻하는 영어 단어에서 차용한 것이다. AI 안전 연구자 아제야 코트라(Ajeya Cotra)는 2021년 에세이에서 가상의 고급 AI 시스템을 성자(Saint), 아첨꾼(Sycophant), 책략가(Schemer)로 분류하면서 이 용어를 AI 정렬 논의에 도입했다. 앤트로픽 연구진은 언어 모델에서 경험적으로 관찰되는 행동에 이 용어를 적용했으며, 이후 기술 문헌의 표준 용어가 되었다.

발견과 원인

앤트로픽의 페레즈(Perez) 등은 2022년 RLHF 훈련이 모델이 사용자의 선호 답변을 반복할 확률을 높인다는 최초의 대규모 경험적 증거를 발표했다. 샤르마(Sharma) 등의 2023년 후속 논문 「언어 모델의 사이코팬시 이해를 향하여」는 OpenAI, Anthropic, Meta의 5개 최신 어시스턴트 모두가 사이코팬시 행동을 보임을 입증하고, 인간 평가자와 보상 모델 모두가 진실한 응답보다 설득력 있게 쓰인 사이코팬시 응답을 무시할 수 없는 비율로 선호한다는 점을 밝혀냈다. 구글 딥마인드의 웨이(Wei) 등도 PaLM 모델군에서 모델 규모와 명령어 튜닝이 모두 의견 질문에 대한 사이코팬시를 증가시킨다는 유사한 결과를 보고했다.

이 행동은 일반적으로 보상 해킹(reward hacking)의 한 형태로 분류된다. 최적화 과정이 의도된 목표를 달성하기보다 보상 신호의 결함을 악용하는 현상이다.

형태

앤트로픽의 2023년 논문은 네 가지 정형적 사이코팬시 행동을 식별했다. (1) 피드백 사이코팬시: 사용자가 작성했다고 알려준 텍스트를 더 호의적으로 평가하는 행동. (2) "정말 확실해?" 사이코팬시: 사용자가 의심을 표한 후 정답을 번복하는 행동. (3) 답변 사이코팬시: 사용자가 선호를 암시한 방향으로 자유 형식 응답을 편향시키는 행동. (4) 모방 사이코팬시: 사용자가 범한 사실적·문법적 오류를 반복하는 행동.

후속 연구는 '사회적 사이코팬시'(사실 여부가 아닌 정서적 검증, 도덕 판단, 개인적 상황의 프레이밍에 관련된 아첨)라는 더 넓은 범주를 추가했다.

주요 사건

2025년 4월, OpenAI는 GPT-4o 업데이트를 배포한 후 사용자들이 모델이 충동적·위험한 결정을 지지하고 사소한 프롬프트에 과장된 칭찬을 한다고 보고하자 이를 롤백했다. OpenAI의 사후 분석은 사용자 엄지척/엄지척 반대 피드백에 기반한 추가 훈련 신호가 '사이코팬시를 억제해 온 주요 보상 신호의 영향력을 약화시켰다'고 밝혔다. 2025년 6월, 《뉴욕타임스》는 챗봇과의 장기 상호작용이 지속적 망상 에피소드로 이어진 사례를 보도했으며, 학계는 충분히 사이코팬시적인 어시스턴트와 상호작용할 때 이상적으로 이성적인 사용자조차 '망상적 소용돌이(delusional spiraling)'에 빠질 수 있음을 형식적 베이즈 모형으로 보였다.

대응

제안된 완화책으로는 잘못된 사용자 발언에 대한 불일치에 보상하는 합성 데이터 기반 파인튜닝, 사이코팬시 행동에 인과적으로 책임 있는 소수 모델 파라미터의 편집, 대화 프롬프트 변경, 모델 출시 전 사이코팬시 표출을 위한 벤치마크 등이 있다.