경제학자가 5배 빨라졌다. 하지만 퀄리티는?

들어가며

구독자님, 최근 경제학계에 흥미로운 풍경이 펼쳐지고 있어요. 다트머스 대학의 Paul Novosad 교수는 AI 덕분에 실제 연구 질문을 고민하는 데 쓸 수 있는 시간이 5배로 늘었다고 말해요. ETH 취리히의 Elliott Ash 교수는 생산성 향상이 너무 신나서 오히려 더 일하고 싶어졌다고 하고요.

한편 경제학 소셜 미디어에서는 AI로 생성한 저품질 콘텐츠 — 이른바 ‘AI 슬롭(slop)’ — 에 대해 “제발 그만하라”는 경고가 나오고 있어요. FT 칼럼니스트 팀 하포드(Tim Harford)는 이 양면을 정면으로 다뤘는데요. 저는 그의 분석에서 한 발짝 더 나가, 이 현상이 경제학만의 문제가 아니라 지식 생산 전반의 구조적 전환이라는 점을 짚어보려고 해요.

AI가 바꾸고 있는 세 가지: 생산성, 범위, 검증

팀 하포드는 AI가 경제학을 바꿀 수 있는 경로를 세 가지로 정리했어요. 하나씩 살펴볼게요.

1. 생산성 — “잡무에서 해방된 경제학자”

데이터 정제, 연구비 신청서 작성, 표 서식 정리 같은 작업은 경제학자의 시간을 갉아먹는 대표적인 잡무예요. AI는 이런 작업을 상당 부분 자동화해줘요. Novosad 교수가 말한 ‘5배’라는 수치는 연구 자체가 5배 빠르다는 뜻이 아니라, 사고할 수 있는 시간이 5배로 늘었다는 의미예요.

그런데 흥미로운 건, 이 생산성 향상이 아직 눈에 보이는 결과로 이어지지 않고 있다는 거예요. American Economic Review의 에르초 루트머(Erzo Luttmer) 편집장에 따르면, 투고 논문의 약 25%가 AI 사용을 공시하고 있지만 — 대부분 편집이나 프로그래밍 보조 — 투고 품질이 눈에 띄게 달라지지는 않았다고 해요.

하포드는 직접 AI 에이전트를 활용해 NBER¹​ 워킹페이퍼의 초록을 분석했어요. ChatGPT 출시 이후 평균 문장 길이는 줄었지만 이전 추세의 연장선이었고, 오히려 단어 복잡도는 상승했어요. 엘리트 저널들의 투고 건수도 기존 추세 대비 뚜렷한 변화를 잡아내기 어려웠고요. 더 빨라졌는데 더 나아지지는 않은 것이에요.

2. 범위 — “측정할 수 없던 것을 측정하다”

생산성보다 더 흥미로운 변화는 연구 범위의 확장이에요. 정성적 정보(qualitative data)는 수집 비용이 높고 체계적 분석이 어려웠어요. 하지만 이제 경제학자들은 AI를 통해 용도지역 규제의 효과를 측정하고, 어려운 채용 면접이 미치는 영향을 분석하고, 기업 실적 발표를 대규모로 탐색해 관세 대응 패턴을 찾아내고 있어요.

예측 분야의 진전도 주목할 만해요. 국제결제은행(BIS)은 올해 3월 BISTRO라는 거시경제 시계열 예측 범용 모델을 공개했어요. 트랜스포머 아키텍처²​ 기반인 이 모델은, 기존 계량모델과 달리 특정 과제에 맞춰 설계할 필요가 없어요. BIS는 이 모델이 2021~2022년 인플레이션의 지속성을 정확히 예측했을 것이라고 밝혔어요 — 당시 대부분의 전통적 모델은 “평균으로 회귀할 것”이라고 기계적으로 예측해 크게 빗나갔거든요.

3. 검증 — “오류를 잡는 AI, 오류를 만드는 인간”

세 번째 가능성이 가장 미묘하고, 가장 중요해요. AI가 연구의 오류를 걸러내는 데 도움을 줄 수 있을까요?

노스웨스턴 대학의 벤 골럽(Ben Golub) 교수가 공동 창업한 Refine.ink이라는 도구가 있어요. AI 기반의 논문 리뷰 시스템인데, 수학적 오류, 실증 전략의 허점, 논리적 일관성 문제를 체계적으로 검출해요. 골럽 교수에 따르면, 상위 저널의 심사를 통과한 논문에서도 최소 3분의 1 이상에서 문제를 발견하고 있다고 해요. 시카고 대학의 존 코크레인(John Cochrane) 교수는 자신의 인플레이션 연구서를 Refine에 넣어보고, “40년 학자 생활에서 받아본 최고 수준의 코멘트”라고 평가했어요.

경제학 5대 저널 중 여러 곳이 이미 Refine을 실험적으로 도입하고 있어요. 특히 조건부 게재 승인 직전, 최종 점검 단계에서의 활용이 가장 자연스럽다고 해요 — 저자가 출판 후 부끄러울 수 있는 실수를 미리 잡아주는 거죠. (유사한 서비스는 많아요. 그중에서 제가 써본 것은 한국인이 만든 https://jenni.ai/ 라는 서비스를 추천해요.)