[IT - AI] 확률적 앵무새 (stochastic parrot)

최근 몇 년 사이에 인공지능에 대한 발전과 관심이 엄청나게 높았다. 요즘은 누구나 Chat-GPT와 같은 LLM(대형언어모델)을 사용하는게 당연하며 익숙해지고 있다. LLM의 사용은 간편하고 쉽지만 얻는 결과는 항상 옳지는 않으며 잘못된 답을 그럴듯하게 내놓는 문제가 있다.

따라서 이러한 LLM의 위험을 완화하기 위해 무차별 데이터 수집이 아닌 신중하게 데이터셋을 골라내어 학습이 필요하다는게 이번 주제의 핵심이다.

 

위키 백과에 따르면 " 확률적 앵무새(stochastic parrot)라는 용어는 기계 학습에서 대형 언어 모델이 그럴듯한 언어를 생성할 수 있지만 자신이 처리하는 언어의 의미를 이해하지 못한다는 이론을 설명하는 비유이다. 이 용어는 에밀리 M. 벤더, 팀닛 게브루(Timnit Gebru), 안젤리나 맥밀란-메이저(Angelina McMillan-Major), 매거릿 미첼(Margaret Mitchell)의 2021년 인공 지능 연구 논문 "On the Dangers of Stochastic Parrots: Can Language Models Be Too Big? 🦜"에서 벤더에 의해 만들어졌다."

 

예를 들어 만약 AI 모델이 "What is the capital of France?"라는 질문에 "Paris"라고 답했다고 가정해보자. 이 답변은 틀리지 않았다, 하지만 모델이 실제로 "Paris"가 프랑스의 수도라는 지식을 이해하고 있는 것은 아니다. 모델은 단지 "capital of France"라는 질문이 주어졌을 때, 학습된 데이터에서 가장 확률이 높은 답변으로 "Paris"를 생성했을 뿐이다.

 

즉, LLM AI는 이해하며 학습하는 것이 아닌, 확률적으로 높은 정답을 넘겨준다는 것이다. 확률적 앵무새는 앵무새가 사람의 말을 따라 하듯, AI도 학습된 데이터를 기반으로 가장 높은 반응을 반복한다는 것을 비유적으로 표현했다.

 

한 가지 더 예를 살펴보자.

"What is the ultimate question of life?"라눈 질문이 AI 모델에게 주어지면 답변은 "42"라고 올 확률이 높다. 이 답변은 유명한 소설 "The Hitchhiker's Guide to the Galaxy"에서 인용된 것이며, AI가 이 답변을 생성한 이유는 이 질문과 이 답변 사이에 통계적 연관성이 강하게 나타나기 때문이다. 그러나 AI는 실제로 "42"가 의미하는 바나, 이 답변이 어떤 맥락에서 나왔는지를 이해하는 것은 아니다. 단지 입력된 질문에 대해 학습된 데이터를 기반으로 가장 가능성이 높은 답을 제공했을 뿐이다. (실제 LLM에 위와 같은 질문을 하면 여러 방면의 답을 제공해준다. 그 중에는  "The Hitchhiker's Guide to the Galaxy"의 "42"를 인용하는 답변도 있다.)

 

자세한 논문의 내용은 다음의 링크에서 읽어볼 수 있다.

https://upload.wikimedia.org/wikipedia/commons/f/f2/On_the_Dangers_of_Stochastic_Parrots_Can_Language_Models_Be_Too_Big.pdf