난제 10개를 푼 기록이 오답집이었어요

들어가며

8월 1일, 오픈AI가 차기 모델 아스트라의 내부 버전이 수학과 이론컴퓨터과학 난제 10개를 풀었다고 발표했어요. 국내 보도 헤드라인은 대부분 하나로 모였어요. 289만 원.

그런데 그날 올라온 문서는 하나가 아니었어요. 결과를 정리한 249쪽짜리 논문이 있고, 기계가 검증하는 형식 증명 저장소가 있고, 그리고 62쪽짜리 문서가 하나 더 있어요. 제목이 「How the Ideas Came Together」, 아이디어가 어떻게 모였는가예요.

구독자님, 이 문서를 열어보면 좀 이상해요. 정답 이야기가 별로 없거든요. 대신 “왜 이 접근은 안 됐는가”가 계속 나와요.

결론부터 말씀드릴게요. 이번 발표에서 정말 새로운 건 AI가 답을 찾았다는 사실이 아니에요. 답에 이르기까지 지운 길을 따로 문서로 만들어 공개했다는 것이에요.

---

먼저, 10개가 무엇인지부터

내용을 다 이해할 필요는 없어요. 어떤 종류의 문제인지만 감을 잡으면 충분해요.

#	문제	쉽게 말하면
1	고차원 구 채우기	공을 빽빽하게 쌓을 때 최대 얼마나 채울 수 있나
2	이진·구면 부호	오류를 견디는 코드를 최대 몇 개나 만들 수 있나
3	비소픽 군	무한한 대칭 구조를 유한한 뒤섞기로 흉내 낼 수 없는 경우가 있나
4	콘네스 강성 추측	어떤 구조를 그 그림자만 보고 되살릴 수 있나
5	산술회로 복잡도	특정 계산에 최소 몇 번의 곱셈이 필요한가
6	양자 병렬 반복	같은 게임을 여러 번 시키면 이길 확률이 확 떨어지나
7	최근접 벡터 문제	격자에서 가장 가까운 점 찾기가 얼마나 어려운가
8	에르하르트 부피 추측	특정 조건의 도형이 가질 수 있는 최대 부피는
9	다색 램지 수	색을 아무리 많이 써도 결국 같은 색 삼각형이 생기나
10	극값 그래프론	특정 모양을 피하면서 선을 최대 몇 개 그을 수 있나

3번과 4번은 각각 1999년, 1980년대부터 열려 있던 문제고, 9번과 10번은 에르되시가 남긴 문제 목록의 183번, 146번, 180번이에요. 답의 형태도 갈려요. 어떤 건 새 증명이고, 어떤 건 오랫동안 참이라고 믿어온 추측을 무너뜨린 반례예요.

cdn.openai.comcdn.openai.com

작은 사실 하나 짚고 갈게요. 오픈AI는 결과를 10개라고 세는데, 워크스루 문서는 12개 장이에요. 5번이 회로와 공식으로, 10번이 두 편의 극값 그래프론으로 각각 쪼개져 있거든요. 형식 증명 저장소도 종점 12개를 결과 10개로 묶어놨어요. 큰 문제는 아니지만, “10개”라는 숫자가 자연스러운 단위가 아니라 편집된 단위라는 건 알아두면 좋아요.

---

워크스루가 실제로 보여주는 것

이제 본론이에요. 62쪽 문서를 읽으면서 제가 세어본 결과, 12개 장 중 10개가 실패한 접근 이야기로 시작해요. 장 제목부터 그래요. “왜 첫 점화식은 틀렸는가”, “길고 유용했던 실패한 경로”, “왜 명백해 보이는 환원이 작동할 수 없었는가”.

실패의 모양이 다 달라요. 네 가지로 나눠볼게요.

유형 1. 그럴듯한 유추가 틀린 경우

2장, 오류정정부호 문제예요.

모델은 비슷한 구조의 다른 문제에서 쓰던 공식을 가져와 적용했어요. 형태가 맞아 보였거든요. 그런데 이걸 아주 작은 사례에 넣어봤어요. 길이 8짜리 코드요.

공식이 내놓은 상한은 508을 7로 나눈 값, 약 72.6이었어요. 그런데 그 코드는 실제로 128개가 존재해요. 128개짜리를 두고 “최대 72개”라고 말한 셈이에요.

이건 오차가 아니라 사망 선고예요. 상한이 실제보다 작다는 건 계산 어딘가가 구조적으로 잘못됐다는 뜻이니까요. 문서는 이 대목을 이렇게 정리해요. 무해한 정규화 문제가 아니라 구조적 오류를 짚어낸 것이라고요.

고친 공식으로 다시 계산하니 약 261.8이 나왔어요. 128보다 크죠. 이제 말이 돼요.

여기서 인상적인 건 고쳤다는 사실이 아니에요. 자기 아이디어를 죽일 수 있는 가장 작은 사례를 스스로 찾아 넣어봤다는 점이에요.

유형 2. 지름길이 목적지를 파괴하는 경우

10장, 램지 수 문제예요. 색을 나눠 칠하되 같은 색 삼각형이 생기지 않게 하는 게 목표예요.

모델이 떠올린 지름길이 있어요. 순열을 이용하면 색 k개로 k팩토리얼 개의 점을 만들 수 있어요. 색 10개면 360만 개예요. 굉장히 효율적이죠.

그런데 확인해보니 이 방식에서는 세 개의 순열이 같은 자리를 서로 다른 세 곳으로 옮길 수 있었어요. 그리고 그 세 개가 만드는 게 정확히 같은 색 삼각형이었어요. 막으려던 바로 그것을 만들어내는 구조였던 거예요.

비슷한 일이 5장에서도 벌어져요. 계산량 하한을 증명하려고 각 항에 보정을 넣었는데, 그 보정에 드는 곱셈 횟수가 하필 증명으로 얻으려던 곱셈 횟수와 같았어요. 이기려던 만큼을 정확히 지불하는 구조라 아무것도 남지 않았고요.

유형 3. 실패한 게 아니라 실패를 증명한 경우

1장, 구 채우기예요. 여기가 제일 흥미로워요.

모델은 표준적인 부등식으로 목표에 접근했어요. 그런데 목표치의 절반 언저리에서 멈췄어요. 보통은 여기서 “상수를 더 조이면 되겠지”라고 생각하게 돼요.

모델은 다른 걸 했어요. 그 방향으로는 원하는 값에 도달할 수 없다는 걸 반례로 보였어요. 문서의 진단은 이래요. 이건 최적화가 덜 된 상수의 문제가 아니라고요. 전체 크기만 재는 도구는 문제가 되는 부분이 어디에 있는지를 잊어버린다고요.

막힌 게 아니라 막혀 있음을 증명한 거예요. 그래서 상수를 조이는 대신 도구 자체를 갈아탔고, 그때부터 진도가 나갔어요.

실무에서도 이 차이가 큽니다. “아직 안 됐어요”와 “이 방향으로는 안 돼요”는 다음 행동을 완전히 다르게 만들거든요.

유형 4. 완성했는데 버린 경우

8장, 격자 암호와 연결되는 최근접 벡터 문제예요. 제목으로 뽑은 대목이 여기예요.

모델은 소수체 위에서 부호 있는 히스토그램을 쓰는 경로로 접근했고, 끝까지 갔어요. 문서는 이 경로가 완전한 구성을 제공한다고 명시해요. 되는 증명이었다는 뜻이에요.

그런데 최종본에 실린 건 그게 아니에요. 표수 2, 그러니까 덧셈이 홀짝만 남는 세계에서 다시 짠 버전이에요. 부호 있는 히스토그램은 홀짝 표로, 복잡한 상쇄는 패리티로 바뀌었어요. 같은 결론에 도달하는데 부품 수가 훨씬 적어졌고요.

9장은 아예 절을 하나 통째로 실패에 배정했어요. 제목이 “길고 유용했던 실패한 경로”예요. 그 경로는 답이 되는 도형을 정확히 찾아냈어요. 그런데 그 도형의 부피에 붙는 팩토리얼을 설명하지 못했어요. 답은 맞혔는데 이유를 못 댄 상태였던 거죠. 문서는 이걸 실패로 분류하고, 그럼에도 유용했다고 적어요. 왜 팩토리얼이 필요한지를 알려줬으니까요.

같은 장에 더 좋은 대목이 있어요. 중간에 모델이 이렇게 씁니다. 여기서 두 함수를 같은 것으로 취급하고 싶은 유혹이 아주 크다고요. 그리고 곧바로 반례를 하나 들어 그 유혹을 죽여요. 그렇게 했다면 잘못된 동일시로부터 증명을 만들어냈을 것이라고 덧붙이고요.

12장은 시작부터 솔직해요. 절의 첫 문장이 “우리는 처음에 증명을 찾으려 했다”예요. 그리고 그 장은 반례로 끝나요. 참인지 거짓인지도 모르는 채로 출발했다는 뜻이에요.

---

그래서 이 결과들, 어디까지 쓸모 있나요

여기서 제 직업병이 나와요. 성과 주장은 항상 범위부터 봐야 하거든요.

국내 보도 상당수가 최근접 벡터 문제를 양자내성암호와 연결해서 다뤘어요. 방향은 맞아요. 그런데 그 결과가 다루는 차원을 보면 입력 크기의 401제곱이에요. 401제곱은 감이 안 오실 텐데, 입력이 10짜리여도 1 뒤에 0이 401개 붙어요. 우주의 원자 수가 1 뒤에 0이 80개 정도예요. 워크스루는 이걸 숨기지 않고 직접 적어요. 이 주장은 다항 시간 계산 가능성에 관한 것이지 실용적 효율에 관한 게 아니라고요. 지금 쓰는 암호에 대한 공격이 아니에요.

9번 램지 결과도 비슷해요. 새로 얻은 하한이 의미를 가지려면 색이 342개 이상이어야 해요. 그보다 적으면 예전부터 알려진 자명한 하한이 더 강해요. 5번 회로 하한은 행렬 크기가 6만 5천 이상일 때부터 성립하고요.

형식 검증도 마찬가지예요. 오픈AI는 모든 결과를 린(Lean)¹으로 형식화했고, 미완성 목표가 없으며 표준 공리만 썼다고 밝혔어요. 강한 근거예요. 다만 저장소가 표기한 검토 상태는 “에이전트 검토됨”이에요. 그리고 기계가 검증하는 건 논리 전개이지, 형식화된 명제가 원래 문제와 같은 명제인지가 아니에요. 그 대조는 여전히 사람 몫이고, 아직 동료평가를 거치지 않았어요.

영국 수학자 토머스 블룸은 이 발표를 두고 “엄청난 소식”이라고 반응했어요. 반면 테런스 타오는 이전부터 다른 걱정을 해왔어요. AI가 만든 증명은 빠르게 늘어나는데 사람이 그걸 이해하고 받아들이는 속도가 못 따라간다는 것, 그가 증명 소화 불량이라고 부른 상태요.

두 반응이 모순이 아니라는 게 지금 상황의 핵심이에요. 결과가 진짜인 것과 학계가 그걸 소화하는 것은 별개의 일이거든요. 6월 2일 국제수학연맹이 지지한 라이덴 선언²이 요구한 것도 정확히 이 지점이에요. 검증 가능성, 출처 표시, 그리고 누가 무엇을 했는지의 정직한 기재요.

그런 점에서 오픈AI가 발표문에 적은 한 문장은 눈여겨볼 만해요. 전적으로 AI가 만들어낸 증명에 사람 저자를 붙이는 건 시스템의 기여와 사람의 지적 작업 양쪽을 왜곡하는 일이라는 문장이요. 기업이 자기 몫의 저자권을 스스로 부인한 건 흔한 일이 아니에요.

---

오스왈드의 시선

저는 이 발표에서 가장 값진 산출물이 62쪽짜리 오답집이라고 봐요.

GTM 전략 프로젝트를 하면서 매번 마주치는 장면이 있어요. 최종 산출물은 권고안 한 장이에요. 그런데 실제 작업 시간의 7할 이상은 그 한 장에 못 들어간 후보들을 죽이는 데 들어가요. 이 채널은 왜 안 되는지, 이 가격 구조는 어디서 깨지는지, 이 세그먼트를 먼저 치면 왜 다음 단계가 막히는지요.

문제는 그 7할이 문서에 남지 않는다는 거예요. 검토했으나 제외한 안은 부록으로 밀리거나 아예 빠져요. 발표 자리에서 아무도 그걸 안 물어보거든요. 그래서 어떤 일이 벌어지냐면, 여섯 달 뒤에 다른 팀이 정확히 같은 안을 새 아이디어로 들고 옵니다. 조직이 같은 오답을 반복해서 구매하는 구조예요. 저는 이 장면을 여러 회사에서 봤고, 매번 같은 결론에 도달했어요. 조직의 진짜 자산은 채택된 안이 아니라 폐기된 안의 이유라고요.

이번 발표가 흥미로운 건 그 비대칭을 뒤집었다는 점이에요. 성공만 보여주면 “운 좋게 맞힌 것 아니냐”는 질문에 답할 수 없어요. 하지만 어떤 길을 왜 지웠는지를 같이 내놓으면, 읽는 사람이 판단의 궤적을 따라갈 수 있게 돼요. 그게 신뢰의 근거가 되고요.

그리고 하나 더요. 저는 성공 사례만 모아 파는 시장을 오래 불편해했어요. 그런 콘텐츠는 항상 결과에서 거꾸로 이야기를 만들거든요. 이번 문서는 반대로 갑니다. 지운 길이 목록으로 남아 있으니, 읽는 사람이 스스로 검증할 여지가 생겨요. 저는 이 형식이 AI가 만든 성과 주장 전반의 표준이 돼야 한다고 생각해요.

한 가지는 분명히 해둘게요. 이 문서는 실제 사고 과정 기록이 아니에요. 별도의 AI 모델이 원본 기록과 최종 논문을 함께 읽고 재구성한 서술이에요. 사후에 정리된 이야기에는 언제나 실제보다 매끄러워지는 편향이 끼어요. 그래서 이건 실험 노트가 아니라 잘 쓴 회고록에 가깝습니다. 그래도 회고록조차 없는 것보다는 훨씬 나아요.

---

마치며

세 줄로 정리할게요.

1. 정답 논문과 별개로, 지운 길만 정리한 62쪽 문서가 함께 나왔어요. 12개 장 중 10개가 실패한 접근에서 시작해요.
2. 실패의 모양은 넷이에요. 유추가 틀린 경우, 지름길이 목적지를 부순 경우, 막혀 있음을 증명한 경우, 완성했는데 버린 경우요.
3. 실효 범위는 좁아요. 능력의 도약과 응용의 도약은 다른 축이에요.

읽고 나서 하나만 해보시길 권해요. 이번 주에 무언가를 결정하셨다면, 채택한 안 옆에 버린 안과 버린 이유를 두 줄만 적어두세요. 여섯 달 뒤에 그 두 줄이 회의 한 시간을 아껴줄 거예요.

혹시 조직에서 “검토했지만 안 되는 이유”를 실제로 문서로 남기고 계신가요? 남기신다면 어떤 형식인지, 안 남기신다면 어디서 막히는지 댓글로 들려주세요. 사례가 모이면 다음 호에서 소거 기록을 남기는 실무 포맷으로 정리해볼게요.

---

💬 폐기한 안을 기록으로 남기는 방식이 있다면 댓글로 들려주세요

📨 같은 결론을 두 번 검토하고 있는 동료가 있다면 이 글을 전달해 주세요

---

참고자료 & 더 읽기

핵심 출처

• OpenAI, “Ten advances in mathematics and theoretical computer science,” 2026년 8월 1일. 링크 ··· 10개 결과 목록과 저자권에 대한 입장이 담긴 원문이에요. 마지막 “수학계에 대한 책임” 단락만이라도 직접 읽어보시길 권해요.
• OpenAI, How the Ideas Came Together, 62쪽, 2026년 8월 1일. 링크 ··· 오늘 글의 핵심 근거예요. 수식은 건너뛰고 각 장의 앞 두 절 제목만 훑어도 이 문서의 성격이 바로 보여요.
• OpenAI, Ten Advances in Mathematics and Theoretical Computer Science, 249쪽. 링크 ··· 결과 본문이에요. 8장 마지막의 차원 계산을 보시면 실효 범위 이야기가 훨씬 구체적으로 다가와요.
• OpenAI, “ten-proofs” 형식 증명 저장소, GitHub. 링크 ··· 결과 10개가 형식 종점 12개로 나뉘어 있어요. 검토 상태 표기를 직접 확인해보시면 좋아요.

배경 지식

• Leiden Declaration on Artificial Intelligence and Mathematics, 2026년 6월 2일. 링크 ··· 국제수학연맹이 지지한 선언문이에요. 발표 24시간 만에 1,000명 넘게 서명했어요. 이번 발표를 읽는 배경으로 먼저 보시길 추천해요.
• Henry Cohn and Noam Elkies, “New upper bounds on sphere packings. I,” Annals of Mathematics 157 (2003), 689–714. 링크 ··· 1번 결과가 도달했다는 문턱을 제시한 2003년 논문이에요. 1장과 2장을 읽으면 이번 결과의 위치가 잡혀요.

---

📝 용어 설명

필자 안광섭은 세종대학교 경영학과 교수이자 OBF(Oswarld Boutique Consulting Firm) 리드 컨설턴트이다. 대학에서 경영데이터 관리, 비즈니스 애널리틱스 등 통계 및 데이터 분석을 가르치는 한편, 현장에서는 GTM 전략과 인공지능 전략 컨설팅을 이끌며 기술과 비즈니스의 접점을 설계하고 있다. AI 대화 시스템의 기억 아키텍처(HEMA) 연구로 학술 논문을 발표했으며, 매일 글로벌 AI 논문을 큐레이션하는 Daily Arxiv 프로젝트를 운영하고 있다. 고려대학교 기술경영전문대 석사과정와 KMBA을 졸업했다. 지은 책으로 《생각을 맡기는 사람들: 호모 브레인리스》가 있다.

각주

1. 린 (Lean): 수학 증명을 컴퓨터가 한 줄씩 검사할 수 있는 형태로 적는 언어예요. 사람이 읽고 맞는 것 같다고 판단하는 대신, 기계가 논리적 빈틈을 자동으로 잡아내요. 다만 검사하는 건 논리 전개이지, 그 명제가 원래 문제와 같은 문제인지는 사람이 봐야 해요. ↩

2. 라이덴 선언: 2026년 6월 2일 발표된, AI와 수학의 관계에 대한 국제 성명이에요. 2025년 9월 네덜란드 라이덴에서 열린 워크숍에서 출발했고 국제수학연맹이 지지했어요. AI 사용 금지가 아니라 검증 가능성, 출처 표시, 연구 자율성을 요구하는 내용이에요. ↩