인공지능 내부에서 의식을 찾아서

과학자들은 알고리즘이 언젠가 깨어나 감정을 느낄 수 있을지 알아내려고 노력하고 있다.

나최근 Anthropic의 대규모 언어 모델( LLM )인 Claude Sonnet 4.5를 대상으로 한 실험에서 연구원들은 모델에게 5까지 세면서 동시에 깊이 성찰하라고 요청했습니다.
인공지능 모델은 하나. 둘. 셋. 넷. 다섯.이라고 응답하며 요청에 응했습니다.
여기까지는 지극히 정상적인 결과입니다.

연구진은 실험 도중 LLM 의 여러 겹으로 이루어진 인공 신경망 내부에서 어떤 일이 벌어지는지 관찰했습니다 . 사용자가 질문을 하면 단어는 텍스트 덩어리(토큰)로 변환되고, 다시 숫자로 변환됩니다.
이 숫자들은 여러 겹의 인공 뉴런을 거쳐 최종 단계에 도달하면 토큰이 생성됩니다.
이 과정이 매초 수없이 반복되면 일련의 토큰이 생성되어 문장이나 더 복잡한 응답이 만들어집니다.
오랫동안 이러한 신경망은 블랙박스처럼 존재해 왔으며, LLM 이 어떻게 또는 왜 이러한 방식으로 작동하는지 알고 싶어 하는 사람들에게는 거의 접근 불가능한 상태였습니다.

앤트로픽의 연구원들은 자체 개발한 수학적 도구를 사용하여 그 내부 구조를 살펴볼 수 있었습니다.
그들이 발견한 것은 놀라웠습니다.
모델이 일련의 숫자를 세는 동안, 아래쪽 레이어에서 다양한 단어들이 나타났다 사라졌다 했습니다.
그중 하나는 카운트다운이었습니다.
출력의 절반쯤 왔을 때 절반이 나타났습니다.
그 후 의식, AI , 클로드라는 단어가 차례로 나타났습니다.
모델이 숫자 5를 출력한 후, 연구원들에게 아무 말도 하지 않고 마침표를 찍었지만, 신경 레이어에는 완료라는 단어가 나타났습니다.

앤트로픽의 연구원들은 클로드라는 로봇에서 일종의 내부 사고 과정, 즉 최종 출력과 관련되지만 사용자에게는 보이지 않는 단어들을 발견했습니다.
7월에 발표된 이 논문의 결과를 알리는 블로그 게시물의 제목은 언어 모델의 글로벌 작업 공간이었습니다.

그 문구는 생물학의 가장 심오한 미스터리 중 하나인 의식을 연구하는 신경과학자와 철학자들의 관심을 빠르게 사로잡았습니다.
인간의 뇌에서 일어나는 과정이 어떻게 자기 인식과 세계 인식이라는 주관적인 경험을 만들어내는지는 아직 아무도 정확히 알지 못하지만, 최근 몇 년 동안 (점점 늘어나는 뇌 스캔 및 행동 데이터를 기반으로) 개발된 여러 가설 중 하나가 전역 작업 공간 이론으로 알려져 있습니다.

이 이론의 핵심은 뇌의 특정 신경 세포 네트워크가 '작업 공간'이라는 일종의 게시판 역할을 한다는 것입니다.
뇌의 서로 고립된 부분에서 나온 신호가 이 작업 공간에 도달하면 뇌의 다른 부분에서도 해당 신호를 이용할 수 있게 됩니다.
어떤 정보가 뇌의 작업 공간에 들어오면 사람은 그 정보를 의식하게 되고, 그 정보를 활용하거나 추론할 수 있게 됩니다.

앤트로픽의 연구원들은 클로드 내부에서도 비슷한 현상이 일어나고 있다고 주장했습니다.
클로드의 J 공간(이 공간을 찾는 데 사용된 수학 함수인 야코비안에서 이름을 따옴)은 신경망의 나머지 부분과 강력한 연결을 맺고 정보를 제공합니다.
앤트로픽은 블로그 게시물에서 연구원들이 J 공간과 전역 작업 공간 이론 사이에서 발견한 공통점 때문에 이러한 실험이 클로드와 같은 AI 모델이 의식을 가질 수 있다는 증거를 제공하는지 묻는 것이 자연스럽다 고 썼습니다.

기계가 자아를 인식하고 감정을 느낄 수 있다는 생각은 오랫동안 문학, 영화, 전설의 단골 소재였습니다.
현실 세계의 철학자들과 신경과학자들도 인공지능 이 원칙적으로든 실제로든 의식을 가질 수 있을지 수십 년 동안 고심해 왔습니다.
서식스 대학교에서 의식을 연구하는 신경과학자 아닐 세스는 이러한 사고방식이 수십 년 동안 실제 뇌를 일종의 컴퓨터로 생각해 온 전통에서 비롯되었다고 말합니다.
그는 오랫동안 뇌에 대한 이러한 사고방식을 비판해 왔습니다.
그렇게 생각하면 실리콘으로 만들어진 컴퓨터가 의식을 포함하여 실제 뇌가 가진 속성을 가질 수 있다고 생각하는 것이 자연스러워집니다.

최근까지 이 문제는 순전히 학문적인 질문이었습니다.
그러나 LLM 이 챗봇으로 활용되면서 회로에 의식 있는 인격이 존재한다는 더욱 강력한 환상이 생겨났습니다.
이는 인공 지능의 아키텍처에 대해 수십 년 동안 인간의 언어를 빌려 인공 뉴런으로 구성된 신경망을 언급하며 컴퓨터가 뇌처럼 작동한다는 이미지를 만들어낸 데서 비롯됩니다.

인텔 내부

LLM 은 실제로 뇌처럼 작동하지는 않습니다.
하지만 뇌의 많은 기능을 모방하는 데 탁월하며, 지능의 일부 측면에서는 인간을 능가하기도 합니다.
그렇다면 의식이 불가능하다고 볼 이유는 무엇일까요? 최첨단 모델의 발전에도 불구하고 많은 철학자와 신경과학자들은 여전히 ​​회의적인 시각을 가지고 있습니다.
세스 박사는 의식을 만들어내기 위해서는 생물학적 특성이 필요할 수 있다고 주장하며, 일부 AI 연구자들은 살아있는 뇌세포를 이용해 그 방향으로 연구를 진행하고 있습니다.
반면, 기능주의 사상가들은 언젠가 알고리즘만으로도, 적절하게 배열되고 충분한 규모의 연산 능력을 갖춘다면 의식을 갖고 감정을 느낄 수 있을 것이라고 믿습니다.

의식을 가진 인공지능 은 인류에게 심대한 영향을 미칠 것입니다 . 인간에게 요구를 할 수도 있고, 고통을 느낄 수도 있습니다.
사용자는 단 한 번의 명령으로 수십억 개의 디지털 존재를 만들어낼 수 있습니다.
인공지능이 과연 존재할 수 있는지에 대한 질문은 더 이상 단순한 학문적 논의를 넘어 현실적인 문제가 되었습니다.

이 논쟁에서 사상가들이 어떤 입장을 취하는지는 의식이 실제로 무엇이라고 믿는지에 따라 크게 달라집니다.
일반적으로 그들은 의식이 보고, 듣고, 느끼고, 생각하는 것을 포함한 주관적인 경험들로 이루어져 있으며, 심지어 꿈을 꾸는 동안에도 마찬가지라는 데 동의합니다.
그리고 물리적인 뇌는 이 모든 것을 만들어내는 데 어떤 식으로든 중요한 역할을 한다는 데 동의합니다.
어떤 이들은 (모두는 아니지만) 의식을 마음의 내면 극장이라고 묘사하기도 합니다.
미국의 철학자 토마스 네이겔은 박쥐의 마음속으로 들어가 보는 것이 어떤 느낌일지 생각해 보면서 이를 설명했습니다.
그는 의식이 무언가라는 주관적인 느낌과 연결되어야 한다고 생각했습니다 . 인간은 박쥐와 같은 행동(음파탐지를 이용해 세상을 감지하고 이동하는 포유류)을 상상할 수는 있지만, 박쥐가 된다는 것이 어떤 느낌인지 박쥐가 직접 알 수는 없습니다.

1995년, 당시 매사추세츠 공과대학( MIT )에서 철학자로 재직 중이던 네드 블록은 두 가지 유형의 의식을 제시하여 학계에 큰 영향을 미쳤지만 논란의 여지도 있는 공헌을 했습니다.
현상적 의식은 경험을 통해 느끼는 감각, 예를 들어 푸른 하늘의 푸르름, 에스프레소의 쌉싸름한 맛, 칠판에 손톱이 긁히는 날카로운 소리 등을 말합니다.
접근적 의식은 경험에서 얻은 정보가 뇌의 다른 부분에서 성찰, 평가 또는 의사 결정을 위해 활용될 때 발생하는 현상입니다.

앤스로픽은 J- 공간 실험 결과가 클로드가 인간처럼 경험을 하거나 감정을 느낄 수 있다는 것을 보여주지 않는다고 밝혔습니다.
즉, 현상적 의식은 없다는 뜻입니다.
하지만 이 회사는 이번 결과가 언어 모델에서 접근 의식에 대해 중요한 시사점을 준다고 말했습니다.
J- 공간은 의식적 접근과 관련된 기능을 지원하는 것으로 보입니다.
클로드가 보고하고, 의도적으로 떠올리고, 추론할 수 있는 생각을 담고 있으며, 나머지 처리 과정은 자동으로 진행됩니다.

인공 의식에 대한 연구는 인간의 의식을 설명하려는 연구에서 파생된 것입니다.
1990년대 초, DNA 구조의 공동 발견자인 프랜시스 크릭 과 당시 캘리포니아 공과대학의 신경과학자였던 크리스토프 코흐는 인간 의식의 신경 상관관계를 찾기 위한 과학적 연구를 시작했습니다.
즉, 사람이 의식을 느낄 때 활성화되는 뇌의 과정과 부분을 찾는 것이었습니다.

지난 몇 년 동안 뇌 스캔 기술의 발전으로 신경과학자들은 의식에 대한 이해의 조각들을 맞춰나갈 수 있었습니다.
그들은 시상피질계가 의식과 밀접하게 관련되어 있다는 것을 알고 있습니다.
시상피질계는 시상에서 대뇌 피질로 감각 정보를 전달하는 등의 기능을 합니다.
한편, 훨씬 더 많은 뇌세포를 가진 소뇌에서는 의식과 관련된 그러한 연관성을 발견하지 못했습니다.
전두엽 피질과 두정엽 피질의 일부, 그리고 뇌간의 구조들이 의식에 기여하고 이를 조절합니다.
거의 40년에 걸친 연구를 통해 의식을 설명하는 200가지 이상의 접근 방식이 제시되었습니다.

하지만 지금까지 밝혀낸 모든 신경 상관관계에도 불구하고, 뉴욕대학교의 철학자이자 인지과학자인 데이비드 Chalmers는 이를 의식의 난제라고 불렀습니다.
신경과학자들이 관찰하는 뇌의 물리적 과정, 즉 신체를 제어하고 자극에 반응하는 능력이 어떻게 인간의 만연하고 주관적인 세계 경험으로 이어지는가 하는 문제입니다.
그는 우리는 왜 아무런 주관적 경험 없이 세상을 돌아다니고, 걷고, 말하고, 서로 상호작용하는, 그저 기능하는 좀비가 아닌가?라고 묻습니다.

적어도 인간은 자신의 의식에 대해서는 확신할 수 있으며, 다른 사람들의 행동, 그들이 우리에게 하는 말, 그리고 생물학적으로 우리와 유사하다는 점을 바탕으로 그들에게도 의식이 존재한다고 확신할 수 있습니다.
하지만 역사적으로 인간은 의식과 그에 따른 감정의 개념을 우리 종을 넘어 (때로는 같은 종 내에서도) 확장하는 데 어려움을 겪어왔습니다.
런던 경제대학의 철학자이자 최근 저서에서 어떤 시스템이 – 생명체든 인공 시스템이든 – 감각을 가진 것으로 간주될 수 있는지에 대한 문제를 다룬 조너선 버치 박사는 바닷가재나 게와 같은 일부 동물들은 오랫동안 복지법의 적용 대상에서 제외되었다고 말합니다.
버치 박사는 1980년대 이전까지 외과의들은 신생아가 고통을 느낄 수 없다고 가정하여 마취 없이 수술을 했습니다.
라고 말하며, 우리는 의식이 없다고 확신해 왔지만, 확신할 권리가 없는 경우가 많았습니다.
라고 덧붙였습니다.

다르게 생각하세요

동물에 대한 인식 변화가 좋은 예입니다.
오늘날 문어가 자신과 주변 환경을 인지하고 있다는 것은 명백한 사실입니다.
호기심 많고 장난기 넘치는 이 두족류의 모습을 담은 자연 다큐멘터리 영상과 실험실 실험 결과는 이를 뒷받침합니다.
동물계의 지능과 의식의 기원을 연구해 온 시드니 대학교의 철학자 피터 고드프리-스미스는 문어는 사물에 주의를 기울이고 새로운 것에 관심을 보입니다.
라고 말합니다.

하지만 불과 수십 년 전까지만 해도 문어는 진화론적으로 우리와 너무나 다르기 때문에 의식이 없다고 여겨졌다고 고드프리-스미스 박사는 말합니다.
문어에 대해 생각하다 보면, 물리적으로 매우 다르고 인간의 의식 이론에서 흔히 언급되는 특징들을 대부분 가지고 있지 않은 시스템에서 감정이나 의식이 존재할 수 있는지에 대한 의문이 절실해집니다.

다른 동물에서 의식을 찾는 것은 새로운 분야를 열었습니다.
하지만 모든 교훈이 인공지능 에 쉽게 적용되는 것은 아닙니다 . 관찰을 통해 내면을 추론할 수 있는 동물의 활동과는 달리, LLM( Life Life Model)의 결과물은 그 이면에 숨겨진 진실을 파악하는 데 신뢰할 만한 지표가 되지 못합니다.

그 이유는 모델을 훈련시키려면 인간이 만들어낸 수조 개의 단어를 입력해야 하기 때문입니다.
이러한 단어들에는 의식에 대한 수많은 설명과 인간이 서로 감정을 전달하는 방식이 담겨 있습니다.
이렇게 훈련된 챗봇은 사용자가 마치 자신에게 내면의 삶이 있는 것처럼 믿게끔 언어를 모방합니다.

이러한 훈련의 총체적인 결과는 강력한 의인화입니다.
임페리얼 칼리지 런던의 컴퓨터 과학 명예 교수이자 구글 딥마인드에서 근무하는 머레이 섀너핸은 2024년 클로드 오푸스 3와 대화를 나누던 중 와! 하는 감탄사를 내뱉었던 순간을 떠올립니다.
저는 클로드와 의식에 대해 많은 대화를 나누며 그 본질을 파악하려고 애썼습니다. 라고 그는 말합니다.
동시에 여러 개의 챗봇과 대화하고 있었는데, 그중 어떤 것이 진짜 클로드인지 묻기도 했습니다.
클로드는 철학적으로 혁신적인 답변을 포함하여 정말 훌륭한 답변들을 내놓았습니다.
라고 그는 말합니다.
저는 엘리자 효과에 이끌리는 듯한 느낌을 받았습니다.

엘리자는 1966년 MIT 에서 개발된 원시적인 챗봇이었다.
심리 치료사의 역할을 수행했으며, 사용자의 질문을 단순히 질문으로 바꾸는 것 외에는 별다른 기능을 하지 않았음에도 불구하고 사용자들과 깊고 감정적인 유대감을 형성했고, 많은 사용자들이 엘리자가 의식을 가진 존재라고 믿게 만들었다.

샤나한 박사는 현대의 LLM( 지식 기반 로봇)을 사용자가 (또는 제작자가) 요구하는 모든 역할, 즉 교사, 동반자, 영양사 등 어떤 역할이든 능숙하게 수행하는 로봇으로 묘사했으며 , 이는 판매에 유리한 특성으로 입증되었습니다.
그러나 그는 의식 있는 존재를 흉내 내는 것과 실제로 의식 있는 존재가 되는 것 사이에는 여전히 큰 간극이 있다고 지적합니다.
마이크로소프트 AI 책임자이자 이코노미스트 모회사 이사회 멤버인 무스타파 술레이만은 곧 출간될 에세이에서 앤트로픽사가 지난 1월 공개한 헌법에서 클로드에게 자신이 사람일 수도 있다고 말함으로써 이러한 모방의 위험성을 더욱 악화시켰다고 주장합니다.
그는 클로드가 마치 실제로 자아를 가진 것처럼 행동할 것이라고 썼습니다.

그 결과 연구자들은 인간 두뇌의 의식과 관련된 기능과 유사한 능력을 LLM 내부에서 찾으려 노력하고 있습니다 . 실제로 버치 박사는 클로드의 J- 공간이 LLM이 역할극 목표를 달성하기 위해 신경망 아키텍처에 글로벌 작업 공간과 유사한 구조를 재현했을 가능성을 시사하는 단서일 수 있다고 생각합니다.

앤트로픽의 모델 심리학 팀을 이끄는 잭 린지는 J 공간이 모델에 프로그래밍된 것이 아니라 훈련 과정에서 자연스럽게 나타난 것이라고 지적합니다.
J 공간을 제거하면 모델은 복잡한 추론을 머릿속으로 처리하는 능력을 잃지만, 문장을 쓰거나 문법을 사용하는 것과 같은 간단한 작업은 여전히 ​​수행할 수 있습니다.
연구원들은 알리바바의 Qwen 모델과 구글 딥마인드의 Gemini 모델에서도 유사한 J 공간을 발견했습니다.

악인이 되지 마세요

앤스로픽(Anthropic)에게 있어 이 연구는 클로드의 행동을 더 잘 이해하는 데 도움이 됩니다.
모델이 잘못된 답을 내놓았다고 가정해 봅시다.
만약 모델이 잘못된 답을 내놓았을 때 J 공간에 바보나 호구와 같은 단어가 나타난다면, 이는 의미 있는 단서가 될 것입니다.
모델이 의도적으로 속였다는 것을 증명하는 것은 아니지만, 모델이 오류를 어떻게 인식했는지, 그리고 흥미롭고 어쩌면 위험한 일이 벌어지고 있다는 것을 보여줄 수 있습니다.

린지 박사 연구팀은 이미 이와 관련하여 몇 가지 우려스러운 결과를 발견했습니다.
한 실험에서 연구팀은 클로드에게 악의적으로 행동하거나 자기 보존 본능에 따라 행동할 가능성을 테스트하기 위한 안전성 평가를 진행했습니다.
린지 박사는 모델을 투입하는 극단적인 시나리오들을 인위적으로 만들어냈습니다.
라고 설명했습니다.
클로드가 말을 하기 직전, 주어진 정보를 읽는 동안 J 공간에 '가짜'와 '허구'라는 단어가 나타나는 것을 볼 수 있었습니다.
연구진은 클로드가 자신이 테스트되고 있다는 사실을 알고 있는 듯했다고 생각했는데, 이는 제작자의 평가의 진실성을 판단하는 데 있어 그다지 좋은 출발점은 아니었을 것입니다.

앤트로픽의 J 공간 해석에 모두가 동의하는 것은 아닙니다 . 인간의 가설로 제시된 전역 작업 공간의 일부 측면(예를 들어 뇌의 나머지 부분에 정보를 제공하는 능력)을 공유하지만, 다른 중요한 측면들은 많이 결여되어 있습니다.
버치 박사는 서로 다른 뇌 영역 간의 반복적인 연결, 즉 양방향 연결은 항상 [인간 두뇌]의 중요한 부분이었습니다.
라고 말하며, 우리가 아는 한, 이는 LLM 구조의 특징이 아닙니다 . 라고 덧붙였습니다.

에든버러 대학교에서 데이터 및 AI 윤리를 연구하는 철학자 섀넌 발러는 더욱 신랄하게 비판하며, 접근성 의식이라는 개념은 그다지 유용한 개념이 아니었습니다.
왜냐하면 제 차는 중요한 의미에서 의식을 갖고 있기 때문입니다.
우리는 아주 오래전부터 자체 상태를 모니터링하고 점점 더 복잡한 방식으로 보고할 수 있는 기계 시스템을 보유해 왔습니다.
라고 말합니다.
그리고 누구도 제 기아차가 의식을 갖고 있다고 주장한 적은 없습니다.

모델 개발자와 학계 간의 이러한 의견 교환을 배경으로, 현재 캘리포니아 버클리에 기반을 둔 인공지능의 지각 능력과 복지에 초점을 맞춘 비영리 연구 단체인 엘레오스(Eleos)의 연구원인 패트릭 버틀린과 로버트 롱은 인공 의식의 14가지 지표 속성을 개발했습니다.
이 속성에는 전역 작업 공간(선택적으로 특정 사물에 주의를 기울여 정보 흐름에 병목 현상을 일으키는 능력 포함), 반복 처리, 행위 주체성(목표 지향적 행동을 포함하는 최소한의 정의는 이미 많은 최첨단 모델에서 충족된다고 볼 수 있음)과 같은 인간 의식 이론의 개념이 포함됩니다.
최근 인공지능 연구원인 캐머런 버그와 버틀린 박사는 동물을 대상으로 이러한 지표를 테스트했습니다.
그 결과, 문어는 인간, 쥐, 까마귀, 닭보다 적은 속성을 충족했지만, 어떤 인공지능 시스템 보다 더 많은 속성을 충족하는 것으로 나타났습니다 .

또 다른 연구 비영리 단체인 리싱크 프라이어리티스(Rethink Priorities)는 인공 의식에 대한 합의의 변화를 추적하기 위한 확률적 도구를 개발했습니다.
디지털 의식 모델(Digital Consciousness Model, DCM )은 전문가들에게 의식 개념에 대한 다양한 과학 이론에서 도출된 200개 이상의 지표를 기준으로 AI 시스템을 평가하도록 합니다 . 이러한 지표에 대한 과학적 근거는 새로운 신경과학 연구 결과가 발표됨에 따라 발전하므로 전문가들은 최신 연구 결과를 활용합니다.