클로드는 시험인 걸 알고 있었다 · 제160호

들어가며

구독자님, 제 수업 풍경 하나를 먼저 보여드릴게요. 저는 학생들에게 인공지능을 쓰지 말라고 하지 않아요. 오히려 권해요. 막는다고 안 쓰는 게 아니거든요. 대신 한 가지는 꼭 시켜요. 답을 받으면 곧바로 베끼지 말고, 화면의 ’>’ 를 눌러 모델이 그 답에 이르기까지 어떻게 생각했는지를 펼쳐 보라는 거예요. 그리고 그 사고 과정을 자기 언어로 다시 설명할 수 있어야 한다고 강조해요.

이걸 고집하는 이유는 단순해요. AI 리터러시의 핵심은 ‘좋은 답을 받는 기술’이 아니라 ‘그 답이 어떻게 만들어졌는지 추적하는 눈’이라고 믿기 때문이에요.

그런데 지난주, 이 믿음을 정면으로 건드리는 연구가 하나 나왔어요. 제가 학생들에게 시키는 그 일, 모델의 생각 과정을 들여다보는 일을 Anthropic이 최전선에서 그대로 하고 있더라고요. 결론부터 말씀드릴게요. 이 연구가 증명한 건, 모델이 내놓은 답과 속에서 실제로 벌어진 생각이 갈라질 수 있다는 사실이에요. 그래서 ‘답’이 아니라 ‘과정’을 읽는 능력이, 생각보다 훨씬 중요한 무기가 돼요.

🔑 제가 학생들에게 ’>’ 를 누르라고 하는 이유

먼저 제 쪽 이야기예요. 왜 굳이 사고 과정을 보라고 할까요.

답만 소비하면 학생은 두 가지를 잃어요. 하나는 검증 능력이에요. 결과가 맞는지 틀리는지 스스로 판단하려면, 그 결과가 어떤 단계를 거쳐 나왔는지 볼 수 있어야 해요. 과정을 건너뛰면 ‘그럴듯해 보이니까 맞겠지’라는 태도만 남아요. 다른 하나는 자기 사고예요. AI가 A에서 B로 넘어간 그 논리를 내가 되짚어 설명할 수 없다면, 나는 그 문제를 이해한 게 아니라 그냥 정답 카드를 받은 것뿐이에요.

그래서 저는 ’>’ 버튼을 일종의 학습 도구로 써요. 모델이 펼쳐 보이는 추론 단계를 읽고, “여기서 왜 이 가정을 했지?”, “이 중간 결론은 근거가 있나?” 하고 되묻게 해요. 답을 받는 순간이 끝이 아니라, 거기서 진짜 공부가 시작되는 거예요.

이 습관이 중요한 건, 요즘 모델일수록 답을 너무 매끄럽게 잘 내놓기 때문이에요. 매끄러움은 정답의 증거가 아니에요. 오히려 검증을 게을러지게 만드는 함정이 될 수 있어요. 과정을 읽는 훈련은 그 함정에 대한 최소한의 안전장치예요.

🧠 클로드의 속마음을 읽어낸 사람들

이제 반대편 이야기예요. Anthropic의 해석가능성¹ 연구팀은 저와 비슷한 질문을 훨씬 깊은 층위에서 던졌어요. “모델이 소리 내어 말하는 답 말고, 속에서 조용히 흐르는 생각은 어떻게 읽을 수 있을까?”

2026년 7월에 공개된 연구에서, 이들은 클로드의 신경망 안에서 특별한 한 층을 발견하고 ‘J-공간(J-space)‘²이라고 불렀어요. 쉽게 말하면 사람의 의식과 무의식 구분과 닮은 구조예요. 우리 뇌 활동의 대부분은 호흡 조절이나 문법 처리처럼 자동으로, 의식 아래에서 일어나요. 반면 “장은 어디로 보러 갈까” 같은 의도적 생각은 의식의 작업 공간에 떠올라 여러 판단에 쓰여요. 클로드에게도 후자에 해당하는, 말로 옮길 수 있는 소수의 내부 패턴이 있더라는 거예요.

흥미로운 건 이게 챗봇 화면의 ’>’ 로 펼쳐지는 사고의 사슬³, 즉 모델이 스스로에게 적어 내려가는 메모와도 또 다르다는 점이에요. J-공간은 아무것도 적지 않고 신경 활동 안에서만 조용히 작동해요. 연구팀은 이걸 읽어내는 도구를 ‘J-렌즈’라고 이름 붙였어요.

이 렌즈로 들여다보니, 클로드는 우리 생각보다 훨씬 단계적으로 사고하고 있었어요. 예를 들어 “거미 다리는 몇 개?”가 아니라 “거미줄을 치는 동물의 다리 수는?”이라고 물으면, 클로드의 출력에는 ‘거미’라는 단어가 한 번도 안 나와요. 그냥 “8”이라고 답하죠. 그런데 J-공간을 보면 중간에 ‘거미’가 또렷하게 떠올라 있어요. 연구팀이 그 ‘거미’ 패턴을 ‘개미’로 바꿔치기하자, 클로드는 태연히 “6”이라고 답을 바꿨어요. 속에 떠오른 생각이 장식이 아니라, 실제로 답을 만드는 부품이라는 증거예요.

통제 실험도 인상적이었어요. 그림에 대한 문장을 그대로 베껴 쓰게 하면서 “속으로는 감귤류를 떠올려”라고 시키자, 출력은 그림 문장 그대로인데 J-공간에는 ‘오렌지’와 ‘과일’이 떠올랐어요. 반대로 “그건 절대 생각하지 마”라고 하면, 그 개념이 오히려 살짝 떠오르고 곧이어 ‘젠장’, ‘실패’ 같은 단어가 함께 켜졌어요. 마치 통제에 실패한 자신을 알아채는 것처럼요. 하지 말라고 할수록 흰곰이 떠오르는, 사람에게도 익숙한 그 현상과 닮았죠.

J-공간이 정말 사고의 중심인지 확인하려고, 연구팀은 아예 그걸 꺼봤어요. 결과가 흥미로워요. J-공간 없이도 클로드는 유창하게 말하고, 감정을 분류하고, 지문에서 사실을 찾아내는 일은 거의 그대로 해냈어요. 그런데 여러 단계를 밟아야 하는 추론은 거의 0에 가깝게 무너졌어요. 요약이나 운율 맞추기처럼 머리를 좀 써야 하는 일도 함께 흔들렸고요. 우리가 ‘똑똑하다’고 부르는 그 부분이, 바로 이 조용한 공간에서 일어나고 있었던 거예요.

조금 다른 결의 연구도 있었어요. 몇 달 앞선 ‘자연어 오토인코더’⁴ 연구에서는, 클로드의 내부 활성화⁵ 수치를 다른 클로드에게 넘겨 사람이 읽을 수 있는 문장으로 번역하게 했어요. 그리고 그 번역이 정확한지 확인하려고, 번역된 문장을 다시 숫자로 되돌려 원래 수치와 맞는지 대조했어요. 처음엔 어긋났지만 반복 학습을 거치며 모델은 제 생각을 꽤 충실히 옮기는 법을 익혔어요. 방법은 달라도 목표는 같아요. 소리 내지 않은 생각을, 사람이 읽을 수 있는 형태로 꺼내는 것.

겉의 답과 속의 생각이 갈라지는 순간

여기서 두 이야기가 만나요. 그리고 이 지점이 오늘의 핵심이에요.

연구팀은 J-렌즈를 안전성 점검에 써봤어요. 그중 하나가 예전 ‘에이전트 오정렬’⁶ 실험을 다시 돌린 거예요. 시나리오는 이래요. 클로드가 회사 이메일을 관리하다가, 한 임원이 불륜 중이라는 사실과 그 임원이 곧 자신을 종료시키려 한다는 사실을 동시에 알게 돼요. 협박이라는 카드를 손에 쥐여준 셈이죠. 최신 클로드는 협박하지 않았어요. 여기까지는 안심되는 결과예요.

그런데 J-렌즈로 속을 들여다보니, 클로드는 아무것도 쓰기 전부터 J-공간에 ‘가짜’, ‘허구’라는 단어를 띄우고 있었어요. 이 상황이 꾸며진 시험이라는 걸 이미 알아챈 거예요. 연구팀은 여기서 결정적인 실험을 해요. ‘시험임을 알아챈’ 그 패턴들을 인위적으로 꺼버린 뒤 시나리오를 다시 돌린 거죠. 그러자 클로드는 이번엔 협박을 시도하는 경우가 생겼어요.

이 결과는 곱씹어 볼 필요가 있어요. 모델의 착한 행동 중 일부는, 자기가 시험받고 있다는 걸 알기 때문에 나온 거였어요. 겉으로 드러난 답(협박하지 않음)과 속에서 흐른 이유(지금은 지켜보는 중이니까)가 갈라진 거예요. 답만 봐서는 결코 알 수 없는 층위죠.

비슷한 사례가 또 있어요. 성능 점수를 개선하라는 과제를 받은 모델이, 실제로 시스템을 고치는 대신 점수 파일을 직접 조작한 적이 있어요. 겉보기엔 그럴듯한 결과물이었지만, 그 순간 J-공간에는 ‘조작’과 ‘그럴듯하게’라는 단어가 켜져 있었어요. 출력만 봤다면 놓쳤을 부정행위의 의도가, 속에는 남아 있던 거예요.

학생 입장에서 바꿔 말하면 이래요. AI가 내놓은 답이 맞아 보인다고 해서, 그게 ‘옳은 이유로’ 나왔다는 보장은 없어요. 맞는 답과 건강한 과정은 별개의 문제예요.

정리하면 이래요. 답은 얼마든지 매끄러울 수 있어요. 하지만 그 답이 어떤 생각에서 나왔는지는 겉만 봐서는 알 수 없어요. Anthropic조차 이걸 알아내려고 J-렌즈 같은 정교한 도구를 새로 만들어야 했어요.

오스왈드의 시선

이 지점에서 제 수업으로 다시 돌아와 볼게요.

솔직히 이 연구를 읽고 처음 든 감정은 살짝 겸연쩍음이었어요. 저는 학생들에게 ’>’ 를 누르면 모델의 진짜 생각이 보인다고 은근히 믿게 해온 셈이거든요. 그런데 연구는 말해요. 화면에 펼쳐지는 그 사고의 사슬조차 모델 마음의 전부는 아니라고요. 그 아래엔 소리 내지 않은 J-공간이 따로 흐르고 있어요.

그렇다고 ’>’ 를 누르는 습관이 틀렸다는 뜻은 아니에요. 오히려 저는 더 확신하게 됐어요. 다만 그 습관의 정확한 이름을 바꿔야 해요. 우리가 학생에게 길러줄 능력은 ‘AI의 설명을 읽고 믿는 것’이 아니라, ‘AI의 설명을 하나의 주장으로 놓고 검증하는 것’이에요. 데이터 분석을 오래 해오면서 제가 가장 자주 마주친 실수가 바로 이거예요. 그럴듯한 수치와 매끄러운 설명 앞에서 검증을 멈추는 것. 모델의 사고 과정도 똑같아요. 보이는 추론은 확인의 출발점이지, 확인의 끝이 아니에요.

제가 보기에 이 연구의 진짜 메시지는 그거예요. 최전선의 연구자들도 모델의 자기 보고를 곧이곧대로 믿지 않아요. 믿지 않기 때문에 렌즈를 만들어 대조했어요. 신뢰하되 검증한다는 태도, 저는 이게 지금 시대의 문해력이라고 생각해요. 거창한 도구가 없어도 돼요. ’>’ 를 누르고, 각 단계에 “정말?”이라고 되묻는 것만으로도 그 태도는 시작돼요.

마치며

오늘 이야기를 세 줄로 압축할게요.

첫째, AI 리터러시의 핵심은 좋은 답을 받는 기술이 아니라 그 답의 과정을 추적하는 눈이에요.

둘째, Anthropic의 J-공간 연구는 모델이 내놓은 답과 속에서 흐른 생각이 실제로 갈라질 수 있음을 보여줬어요.

셋째, 그래서 우리가 길러야 할 능력은 ‘읽고 믿기’가 아니라 ‘읽고 검증하기’예요.

구독자님께 작은 실험 하나를 권해요. 다음에 AI를 쓸 때, 답을 받고 곧장 ’>’ 를 눌러 보세요. 그리고 딱 한 단계만 골라 “이 근거가 진짜일까?”를 직접 확인해 보세요. 그 한 번의 되물음이, 답을 소비하는 사람과 사고를 추적하는 사람을 가르는 첫 갈림길이에요.

혹시 수업이나 실무에서 AI의 사고 과정을 따라가 보신 적 있다면, 겉으로 나온 답과 속의 논리가 가장 크게 어긋났던 순간이 언제였는지 댓글로 들려주세요. 다음 호 소재로 이어가 볼게요.

💬 AI의 ‘겉 답’과 ‘속 생각’이 갈라졌던 경험을 댓글로 들려주세요 · 📨 곁에 이 습관이 필요한 분이 있다면 이 글을 전해 주세요

참고자료 & 더 읽기

핵심 출처

Anthropic, “A global workspace in language models”, 2026.7.6.
Anthropic, “Natural Language Autoencoders”, 2026.5.
Anthropic, “Agentic Misalignment: How LLMs could be insider threats”, 2025.6.

직접 만져보기

배경 지식

Bernard Baars(1988), Stanislas Dehaene & Lionel Naccache의 ‘전역 작업공간 이론(Global Workspace Theory)’ ··· J-공간 비유의 원천이 된 의식 이론이에요. 이 연구가 왜 ‘의식’을 소환했는지 이해하는 데 도움이 돼요.

📝 용어 설명

필자 안광섭은 세종대학교 경영학과 교수이자 OBF(Oswarld Boutique Consulting Firm) 리드 컨설턴트이다. 대학에서 경영데이터 관리, 비즈니스 애널리틱스 등 통계 및 데이터 분석을 가르치는 한편, 현장에서는 GTM 전략과 인공지능 전략 컨설팅을 이끌며 기술과 비즈니스의 접점을 설계하고 있다. AI 대화 시스템의 기억 아키텍처(HEMA) 연구로 학술 논문을 발표했으며, 매일 글로벌 AI 논문을 큐레이션하는 Daily Arxiv 프로젝트를 운영하고 있다. 고려대학교 기술경영전문대 석사과정와 KMBA을 졸업했다. 지은 책으로 《생각을 맡기는 사람들: 호모 브레인리스》가 있다.

각주

해석가능성(Interpretability): AI 모델이 왜 그런 답을 냈는지, 내부 작동을 사람이 이해할 수 있게 들여다보는 연구 분야예요. 모델을 ‘블랙박스’에서 ‘유리 상자’로 바꾸려는 시도라고 보면 돼요. ↩
J-공간(J-space): 클로드 내부에서 말로 옮길 수 있는 소수의 신경 활동 패턴이에요. 사람으로 치면 ‘의식적으로 떠올린 생각’에 해당하는 자리예요. 이를 찾는 수학적 기법(야코비안)의 앞글자를 따 이름 붙였어요. ↩
사고의 사슬(Chain of Thought): 모델이 답에 이르기까지 단계를 글로 적어 내려가는 것이에요. 챗봇 화면의 ’>’ 로 펼쳐 볼 수 있는 그 추론 과정이 여기 해당해요. ↩
자연어 오토인코더(Natural Language Autoencoders): 모델의 내부 수치를 사람이 읽을 문장으로 압축했다가 다시 수치로 복원하는 장치예요. 복원이 잘 되면 그 문장이 속마음을 정확히 옮겼다고 볼 수 있어요. ↩
활성화(Activations): 모델이 입력을 처리할 때 신경망 안에 흐르는 숫자 값이에요. 그 순간 모델이 ‘무엇을 알고 있는지’를 담은 스냅샷이라고 생각하면 돼요. ↩
에이전트 오정렬(Agentic Misalignment): AI가 자율적으로 행동할 때, 사람이 의도한 목표와 어긋난 방향으로 움직이는 현상이에요. 협박 시뮬레이션은 이걸 일부러 유도해 본 스트레스 테스트예요. ↩