📝 내용 정리

인공지능이 스스로 어떤 상태에 있는지 부분적으로 알아차리고, 그것을 설명할 수 있다는 연구결과가 나왔다. 이는 대형언어모델 (LLM)이 학습한 데이터를 무작위적으로 반복할 뿐이라는 ‘확률론적 앵무새’이론과는 대치되는 것으로 주목된다.

엔트로픽은 “Emergent Introspective Awareness in Large Language Models” 논문을 통해, AI가 자신이 생각하는 것이 무엇인지 정확하게 인식한다고 주장했다.

연구진은 클로드에게 ‘배신’이라는 개념을 알려준 뒤, 모델이 “내 안에 ‘배신’이라는 생각이 떠오르는 것 같다”라고 답한 사실을 확인했는데, 이는 AI가 자신의 상태를 어느정도 알아차리고 표현할 수 있따는 첫번째 증거로 자기 인식 가능성과 안전성 관리에 중요한 의미가 있다.

그 뿐만 아니라,

모델이 결과를 통해 추론하기도 전에 주입된 개념을 감지한다던가,

사용자의 입력과 자신의 생각을 구분하는 등의 실험을 보였다.

엔트로픽은 이번 실험이 “AI의 자기 능력을 보여주는 첫 신호”라고 인정했지만, 실제 신뢰성은 매우 낮다고 경고했다.

실제로 상황에 따라 작동이 이상하게 되는 경우도 있었다.

그럼에도 이번 연구는 AI의 ‘블랙박스 문제’를 풀 수 있는 새로운 가능성을 보여준다는 평이다.

🧠 생각 정리

개발만 하다가 연구로 넘어온지 얼마 안된 사람으로써,, AI의 블랙박스 문제는 저에게 가장 어려운 부분이었는데요 .. 왜 이게 안되는지 ! 뭐가 문제인지 ! 하나하나 뜯어볼 수 없는게 정말 힘들었고 지금도 힘듭니다 .,, 하지만 이러한 문제를 해결할 가능성을 보였다 하니 정말 기뻐서 이 뉴스를 가지고오게 되었습니다 ! 내용이 굉장히 흥미로워서 꼭 뉴스를 모두 읽어보셨으면 좋겠어요!!

LLM을 인지 모델로 사용하여 인간 시뮬레이션 연구를 하는 사람으로써,, LLM이 저렇게 자기 성찰적 인식을 가지고 있는게 더욱 재밌었던 것 같습니다. 인간의 인지를 모방한 LLM의 자기 성찰이라 .. 이 부분을 사용해서 연구를 해보는 것도 재밌을 것 같아요. 이쪽 분야의 연구가 빨리 발전해서 LLM에게 무슨생각을 하고있냐고 물어보는 시대가 왔으면 좋겠습니다.