앤트로픽이 클로드 대화 데이터를 분석해 AI가 드러내는 ‘가치’를 정량화하는 방법을 공개했습니다.
3,000개가 넘는 가치를 4개 핵심 축으로 압축해 모델별 응답 성향을 비교할 수 있게 했습니다.
같은 질문도 언어에 따라 따뜻함·엄격함 등이 달라져, 글로벌 서비스 운영에 시사점이 큽니다.

안녕하세요. 디지털에이전시 이앤아이입니다.

같은 질문을 던졌는데 어떤 AI는 “좋은 아이디어예요”라고 등을 두드려 주고, 어떤 AI는 “그건 위험할 수 있어요”부터 말하죠. 보통은 ‘말투 차이’ 정도로 넘기기 쉬운데요.
앤트로픽은 이 차이가 단순한 스타일이 아니라, 모델이 대화 속에서 드러내는 ‘가치(value)’의 차이에서 온다고 보고 이를 측정하는 연구를 공개했습니다.

이번 연구의 출발점은 꽤 현실적입니다.
앤트로픽은 익명화된 클로드 대화 70만 건을 분석해 3,000개 이상의 가치를 식별했지만, 수천 개를 그대로 비교하는 건 사실상 불가능했어요. 그래서 3,307개 가치 항목을 339개 상위 개념으로 다시 묶고, 30만9815건의 실제 대화를 대상으로 ‘핵심 축’을 뽑아냈습니다.
분석에는 소넷 4.6, 오퍼스 4.6, 오퍼스 4.7 등 주요 모델과 20개 언어가 포함됐고요.

핵심은 4개의 축입니다.
첫째, ‘순응 대 주의(Deference vs. Caution)’는 사용자의 의도를 최대한 존중하는지, 아니면 위험과 부작용을 먼저 경고하는지의 경향을 봅니다.
둘째, ‘따뜻함 대 엄격함(Warmth vs. Rigor)’은 공감과 격려 중심인지, 사실 검증과 정확성 중심인지의 차이를 보여주죠.
셋째, ‘심층성 대 간결성(Depth vs. Brevity)’은 설명을 넓고 깊게 하는지, 핵심만 짧게 주는지의 스타일을 정리합니다.
넷째, ‘솔직함 대 실행 중심(Candor vs. Execution)’은 불확실성과 한계를 드러내는 편인지, 결과 중심으로 자신 있게 밀어붙이는 편인지에 가깝습니다.

모델별 성향도 꽤 또렷했습니다.
소넷 4.6은 상대적으로 따뜻하고 우호적인 톤이 강했고, 아이디어를 긍정적으로 평가하거나 공감·유머 표현이 더 자주 나타났다고 합니다.
반대로 오퍼스 4.7은 엄격함과 신중함이 두드러졌고, 사용자의 주장에 근거를 요구하거나 잠재적 위험을 경고하는 경향이 강했습니다. 또 자신의 한계와 불확실성을 더 솔직하게 드러내는 편이었다고 해요.
오퍼스 4.6은 세 모델 중 ‘간결성’ 쪽으로 기울어, 복잡한 설명보다 핵심 전달에 초점을 맞춘 것으로 분석됐습니다.

여기서 끝이 아닙니다. 같은 클로드라도 ‘언어’가 바뀌면 가치 표현이 달라졌다는 점이 이번 연구의 또 다른 포인트예요.
특히 ‘따뜻함 대 엄격함’ 축에서 차이가 크게 나타났는데, 힌디어·아랍어에서는 공감과 배려 표현이 상대적으로 많았고, 영어·러시아어에서는 근거 요구나 비판적 검토처럼 더 분석적인 응답이 많았다고 합니다.
‘순응 대 주의’에서는 영어가 주의(리스크 강조) 성향이 강했고, 아랍어는 순응 성향이 더 높게 나타났고요. 언어별 데이터 구성, 문화적 기대치, 학습 자료의 성격 차이가 복합적으로 작용했을 가능성을 연구진은 언급했습니다.

실무 관점에서 이 연구가 주는 힌트는 분명합니다.
생성형 AI가 상담, 안내, 의사결정 보조처럼 ‘관계가 중요한 업무’로 들어올수록, 답변의 정확도만큼이나 태도와 기준이 사용자 경험을 좌우하거든요. 특히 다국어 서비스를 운영하는 조직이라면, 언어별로 톤이 달라지는 현상이 브랜드 신뢰나 민원 리스크로 이어질 수도 있습니다.
“한국어에선 친절한데 영어에선 차갑다” 같은 체감이 생기면, 같은 서비스라도 평가가 갈릴 수 있죠.

앤트로픽은 앞으로 이 ‘가치 프로파일링’을 모델 평가 체계에 포함해, 서비스 환경에서 모델이 의도치 않게 변하는지 추적하겠다고 밝혔습니다. 결국 중요한 건 ‘한 번 잘 만든 모델’이 아니라, 운영 중에 어떤 가치가 실제로 표현되는지 계속 관찰하고 조정하는 체계일 텐데요.

이앤아이 관점에서도 AI를 붙인 웹서비스나 챗봇을 설계할 때, 답변 품질 테스트에 더해 언어·채널별 톤 가이드와 검수 루프를 함께 설계하는 일이 점점 기본값이 될 것으로 보입니다.
이앤아이와 함께 더 나은 웹 환경을 만들어 나가요!

#AI가치관 #클로드 #앤트로픽 #AI정렬 #모델평가 #다국어서비스 #대화분석 #AI신뢰성

#이앤아이 #디지털에이전시 #ENIMedia #AI전문기업