미국 독립선언서를 AI가 썼다고?

들어가며

미국 아이다호주립대에서 화학을 전공하던 로런 재거는 박사과정에 지원하다가 이상한 경고를 봤어요. 일부 지원 포털이 “자기소개서에서 AI로 쓴 흔적이 감지되면 지원서 전체를 무효 처리한다”고 안내한 거예요. 재거는 AI를 쓴 적이 없었어요. 그런데 불안한 마음에 자기 글을 온라인 탐지기 몇 개에 넣어봤더니, 하나같이 “거의 100% AI”라고 나왔어요.

재거는 결국 자기소개서를 다시 썼어요. 그것도 더 잘 쓰려는 게 아니라, 탐지기에 걸리지 않으려고 일부러 ‘덜 완벽하게’요. 그렇게 점수를 30%까지 낮추고 “이 정도면 됐다” 하고 제출했다고 해요. (다행히 그는 유타대 박사과정에 합격했어요.)

비슷한 시기, 인터넷에서는 더 황당한 일이 화제였어요. 1776년에 작성된 미국 독립선언서를 어느 탐지기에 넣었더니 “95~100% AI가 썼다”고 판정한 거예요. 250년 전 문서가요.

여기서 질문이 하나 생겨요. 대학이 부정행위를 잡겠다고 쓰는 이 도구들, 정말 믿어도 될까요? 결론부터 말씀드리면, 진짜 문제는 탐지기가 가끔 ‘틀린다’는 데 있지 않아요. 틀릴 수 있는 도구를 마치 ‘움직일 수 없는 증거’처럼 쓴다는 데 있어요.

🔍 대학이 탐지기에 매달리는 이유

챗GPT 같은 생성형 AI가 등장하면서, 글을 대신 써주는 비용이 사실상 0에 수렴했어요. 웨스턴시드니대에서 학문적 진실성을 담당하는 캐스 엘리스는 이걸 “규모의 근본적 변화”라고 불러요. 예전에도 대필은 있었지만, 지금은 “적어도 상당 부분이 조작되거나 꾸며진 결과물이 밀려드는 양 자체가 폭증했다”는 거예요.

문제는 기존 무기가 잘 안 통한다는 데 있어요. 턴잇인(Turnitin) 같은 표절 검사 도구는 방대한 기존 출판물과 문장을 대조해서 ‘베낀 흔적’을 찾아내요. 그런데 생성형 AI가 만든 문장은 어디서 통째로 베낀 게 아니라 그때그때 새로 조합돼요. 대조할 원본이 없으니 표절 검사에 안 걸려요. AI가 과거의 방대한 글을 학습해서 내놓은 결과물인데, 정작 과거 글과 대조하는 표절 도구로는 못 잡는 아이러니예요.

그래서 등장한 게 “이 글은 다른 AI가 썼다”를 판별한다고 주장하는 탐지기예요. Copyleaks, GPTZero, ZeroGPT, 그리고 Grammarly와 QuillBot, Turnitin이 만든 도구까지 시장에 나와 있어요. 밀려드는 과제와 지원서 앞에서 대학과 대학원은 이 도구들에 기대기 시작했어요.

왜 ‘잘 쓴 글’이 AI로 걸릴까

많은 탐지기가 퍼플렉서티¹라는 지표에 기대요. 쉽게 말하면 ‘다음 단어가 얼마나 예측 가능한가’를 재는 값이에요. AI가 쓴 글은 통계적으로 매끄럽고 예측 가능한 패턴을 따르는 경향이 있어요. 그래서 퍼플렉서티가 낮은(예측 가능한) 글일수록 “기계가 썼다”고 의심받고, 툭툭 튀는 표현이 많을수록 “사람이 썼다”고 판단돼요.

문제가 보이시나요? 이 논리대로라면, 문법을 정확히 지키고 군더더기 없이 매끄럽게 쓰는 사람일수록 AI로 의심받아요. 재거가 “나는 문법책을 공부했고 규칙을 철저히 지켜서 쓴다. 그래서 AI로 오해받은 것 같다”고 말한 게 정확히 이 지점이에요. 잘 썼다는 이유로 걸리는 거예요.

여기서 더 심각한 문제가 나와요. 영어가 모국어가 아닌 사람들이에요. 2023년 스탠퍼드 연구팀은 탐지기 7개에, 챗GPT가 나오기 전(2020년 이전)에 작성된 토플 에세이 91편을 넣어봤어요.

결과는 충격적이었어요. 평균 61.3%가 “AI가 썼다”고 잘못 분류됐거든요. 반면 미국 8학년(13~14세) 학생이 쓴 영어 글은 거의 정확하게 ‘사람 글’로 분류됐고요.

비원어민의 글은 표현의 다양성이 상대적으로 낮아 퍼플렉서티가 낮게 나오는데, 탐지기가 이걸 ‘AI스럽다’고 오해한 거예요. 오탐률² 61%는, 억울하게 걸린 학생이 10명 중 6명이라는 뜻이에요.

독립선언서가 걸린 것도 같은 원리예요. 250년간 수없이 인용되고 다듬어진 문장은 통계적으로 매우 ‘예측 가능’하거든요. Nature가 직접 1776년 원문 일부를 ZeroGPT에 여러 번 넣어봤더니 매번 95~100% AI로 나왔다고 해요.

이게 예외적인 사고일까요? 아니에요. 2025년 한 연구는 가장 널리 쓰인다는 GPTZero를 검증했는데, 완성된 AI 글은 높은 확신도로 잡아냈지만 사람이 쓴 글을 AI로 오인하는 비율이 약 16%였어요. 연구진의 결론은 “사람이 쓴 글을 구별하는 신뢰도는 제한적”이라는 거였어요.

⚡ 더 정확한 탐지기가 나와도 남는 문제

물론 모든 탐지기가 이 정도는 아니에요. 뉴욕의 Pangram Labs는 오탐률이 ‘거의 0’이라고 주장해요. 접근법이 달라요. 사람이 쓴 글과, 그걸 AI로 다시 쓰게 한 글을 대량으로 학습시켜서, 새 챗봇이 나올 때마다 그 문체를 익히게 하는 방식이에요. 퍼플렉서티 하나에만 의존하지 않죠. 시카고대 부스경영대학원과 메릴랜드대의 독립 평가에서도 정확도가 99.8% 아래로 떨어진 적이 없다고 나왔어요.

그런데 여기서 제가 강조하고 싶은 지점이 나와요. 탐지기가 정확해진다고 문제가 끝나지 않아요.

첫째, 하이브리드 텍스트예요. AI가 학계에 미치는 영향을 연구하는 마이크 퍼킨스(영국대학교 베트남)는 “순수한 AI 글은 탐지기가 꽤 잘 잡지만, 그 글을 이리저리 손대기 시작하면 탐지가 무너진다”고 말해요. 사람이 직접 고칠 필요도 없어요. 다른 AI에게 “다시 써줘” 하거나, 탐지 점수를 낮추도록 설계된 ‘휴머나이저³’ 툴에 돌리면 되거든요. 탐지 회사가 이런 우회 도구를 잡으려 하면, 또 새로운 우회 도구가 나와요. 퍼킨스의 표현으로는 “누구에게도 도움이 안 되는 거대한 군비 경쟁”이에요.

둘째, 더 근본적인 문제예요. 올해 마르제나 카르핀스카 연구팀은 Pangram을 이용해 2025년 여름 미국 신문 1,500곳의 기사 18만 6천 건을 분석했어요. 약 9%가 부분적으로든 전체든 AI가 쓴 것으로 감지됐죠. 흥미로운 수치예요. 그런데 카르핀스카 본인이 이렇게 못을 박아요. 이건 ‘대규모 경향’을 보는 데는 쓸 수 있어도, 개별 저자의 유죄를 가리는 근거로 쓰면 안 된다고요.

“그걸 근거로 사람들을 무더기로 탈락시킬 수는 없어요.”

이 말이 오늘 이야기의 핵심이에요. 같은 도구가 ‘경향 분석’에는 유효하지만 ‘개인 심판’에는 부적절할 수 있어요. 통계와 판결은 서로 다른 게임이거든요.

오스왈드의 시선

솔직히 말하면, 저는 이 이야기를 ‘탐지기 성능’ 논쟁으로 읽지 않아요. 데이터를 다뤄온 사람으로서 제 눈에 먼저 들어오는 건 ‘임계값(threshold)‘과 ‘기저율(base rate)‘이에요.

데이터 분석을 하면서 자주 마주쳤던 함정이 하나 있어요. 정확도 99.9%짜리 모델도, 대상 집단이 충분히 크고 ‘진짜 양성’이 드물면 억울한 사람을 꽤 많이 만들어낸다는 거예요.

예를 들어 오탐률 0.1%짜리 아주 뛰어난 탐지기가 있다고 해볼게요. 정직하게 자기 손으로 쓴 학생 1만 명에게 적용하면, 그중 약 10명은 아무 잘못 없이 ‘AI 부정행위자’로 찍혀요. 그 10명에게는 정확도 99.9%가 아무 위로가 안 돼요.

퍼킨스가 짚은 대목도 같은 맥락이에요. 사람들은 점수를 보면 그냥 믿어버려요. 표절 검사 시대에는 “여기 이 문장이 저 논문과 똑같다”는 눈에 보이는 증거가 있었어요. 그런데 AI 탐지 점수에는 그런 증거가 없어요. “87% AI”라는 숫자가 대체 무엇을 근거로 나왔는지 학생도 교수도 확인할 방법이 없죠. GTM 전략을 짜면서 저는 ‘숫자로 포장된 확신’이 조직을 얼마나 쉽게 오도하는지 여러 번 봤어요. 점수는 판단을 도와야 하는데, 자주 판단을 대체해버려요.

그래서 제 결론은 이래요. 탐지기는 ‘수사의 단서’로는 쓸 수 있어요. 하지만 ‘유죄의 증거’로 쓰는 순간, 재거처럼 잘 쓰는 사람과 비원어민이 가장 먼저 그물에 걸려요. 도구를 없애자는 게 아니에요. 도구의 출력에 걸맞은 무게만 싣자는 거예요.

마치며

오늘 이야기를 세 줄로 정리하면 이래요.

첫째, 많은 AI 탐지기는 ‘잘 쓴 글’과 ‘비원어민의 글’을 AI로 오인하고, 그 오탐률은 최대 61%에 이르러요. 둘째, 더 정확한 탐지기가 나와도 하이브리드 텍스트와 휴머나이저 앞에서 무너지고, 무엇보다 ‘경향’과 ‘개인 심판’은 다른 문제예요. 셋째, 위험한 건 도구가 틀리는 것보다, 틀릴 수 있는 점수를 증거처럼 믿는 태도예요.

혹시 글을 평가하거나 제출하는 위치에 계신다면, 딱 한 가지만 기억해 주세요. AI 탐지 점수는 ‘시작하는 질문’이지 ‘끝내는 판결’이 아니에요.

재거는 합격을 위해 자기 글을 일부러 ‘덜 완벽하게’ 고쳐 썼어요. 탐지기에 걸리지 않으려고 스스로 글을 망가뜨리는 이 상황, 혹시 실제로 자기 글이나 학생·동료의 글이 억울하게 AI로 찍힌 경험이 있으셨나요? 어떤 상황이었는지 댓글로 들려주세요. 다음 호 소재로 반영해볼게요.

---

💬 억울하게 AI로 찍힌 경험, 댓글로 들려주세요. 다음 호에 반영할게요.

📨 글 쓰는 동료에게 도움이 될 것 같다면 이 글을 전해주세요.

---

참고자료 & 더 읽기

핵심 출처

• Weixin Liang et al., “GPT detectors are biased against non-native English writers”, Patterns (Cell Press), 2023. : 오탐률 61.3%의 출처예요. 비원어민 차별 문제를 처음 데이터로 보여준 논문이라, 결과(Results) 부분부터 보시길 추천해요.
• “Assessing GPTZero’s Accuracy in Identifying AI vs. Human-Written Essays”, arXiv preprint, 2025. : GPTZero 오탐률 16%가 여기서 나와요.
• Jenna Russell, Marzena Karpinska et al., “AI use in American newspapers is widespread, uneven, and rarely disclosed”, arXiv preprint, 2025. : 신문 기사 9% AI 감지 연구. ‘경향은 되지만 개인 심판은 안 된다’는 저자들의 절제가 인상적이에요.
• W. H. Walters, “The Effectiveness of Software Designed to Detect AI-Generated Writing: A Comparison of 16 AI Text Detectors”, 2023. : 16개 도구 중 3개(Copyleaks, Turnitin, Originality.ai)만 강했다는 그 연구예요.
• M. Suvanto et al., preprint, arXiv, 2026. : 기사 속 ‘탐지의 신호(telltale signs)’ 그래픽 출처예요. 퍼플렉서티가 단어 단위로 어떻게 작동하는지 시각화돼 있어요.

배경 지식

• Pangram Labs 제3자 평가 모음, “Pangram 평가”, “Chicago Booth Review”. : ‘거의 0 오탐률’이 어떻게 검증됐는지 궁금하면 여기를 보세요.

원문

• “Universities are relying on AI-detection software to catch cheating. How well do the programs work?”, Nature (2026). : 오늘 뉴스레터가 출발한 기사예요.

필자 안광섭은 세종대학교 경영학과 교수이자 OBF(Oswarld Boutique Consulting Firm) 리드 컨설턴트이다. 대학에서 경영데이터 관리, 비즈니스 애널리틱스 등 통계 및 데이터 분석을 가르치는 한편, 현장에서는 GTM 전략과 인공지능 전략 컨설팅을 이끌며 기술과 비즈니스의 접점을 설계하고 있다. AI 대화 시스템의 기억 아키텍처(HEMA) 연구로 학술 논문을 발표했으며, 매일 글로벌 AI 논문을 큐레이션하는 Daily Arxiv 프로젝트를 운영하고 있다. 고려대학교 기술경영전문대 석사과정와 KMBA을 졸업했다. 지은 책으로 《생각을 맡기는 사람들: 호모 브레인리스》가 있다.

각주

1. 퍼플렉서티(perplexity): 다음에 올 단어가 얼마나 예측 가능한지를 재는 값이에요. 낮을수록 ‘뻔한’ 문장이라 AI스럽다고 판단되고, 높을수록 사람 글로 여겨져요. ↩

2. 오탐률(false positive rate): 실제로는 사람이 쓴 글인데 ‘AI가 썼다’고 잘못 판정하는 비율이에요. 무고한 사람이 걸리는 비율이라고 보면 돼요. ↩

3. 휴머나이저(humanizer): AI가 쓴 글을 사람 글처럼 보이게 바꿔서 탐지 점수를 낮추는 도구예요. ↩