이 글에는 글쓴이 개인의 생각을 담았습니다.
먼저 논문이 무슨 이야기를 하는지부터 정리해 보죠. NAVER 연구진의 「Retrieval Collapses When AI Pollutes the Web」은 검색 대상에 AI 생성 문서를 계속 추가하면서 검색 결과와 답변이 어떻게 바뀌는지 살펴본 연구입니다. 검색에 잘 노출되도록 만든 합성 문서가 실험 자료의 약 67퍼센트가 되자, 상위 검색 결과에서는 약 80퍼센트를 차지했습니다. 그런데 이 조건에서는 답변 정확도가 대체로 유지됐습니다. 답은 그럴듯하게 나오는데, 그것을 받치는 근거는 점점 AI가 만든 문서로 바뀐 겁니다. 논문 본문
물론 이 실험만으로 인터넷 전체가 이미 거짓 정보로 뒤덮였다고 말할 수는 없습니다. 합성 문서에도 정확한 정보가 있었고, 오류를 의도적으로 넣은 조건에서는 검색 방식에 따라 이를 걸러내는 정도도 달랐습니다.
이 논문을 읽으면서, 이런 정보를 접하며 자라는 아이들은 어떨까 하는 생각이 들었습니다. 처음 배우는 내용이라면 틀린 설명을 들어도 어디가 이상한지 알아차리기 어렵겠죠. 출처를 확인하는 법도 아직 배우지 못했다면 더 그럴 테고요. 그렇게 잘못 배운 내용을 사실로 믿고, 그걸 기준으로 새로운 정보까지 판단하게 되지 않을까 걱정됐습니다.
믿기 전에 확인하라고 배웠습니다
학교에서 위키피디아 내용을 그대로 믿거나 과제에 옮겨 쓰지 말라는 교육을 받은 사람들이 있습니다. 다른 출처도 찾아보고, 거기 적힌 말의 근거가 무엇인지 확인하라는 이야기였죠.
드라마 《The Newsroom》에서도 fact의 중요성을 강조했습니다. 이 작품을 쓴 에런 소킨은 인터뷰에서 서로 의견은 달라도, 논쟁의 바탕이 되는 사실까지 달라져서는 안 된다는 취지로 말했습니다. 에런 소킨 인터뷰
위키피디아에 관한 경고와 이 드라마의 이야기는 그런 점에서 서로 통한다고 생각합니다. 글이 잘 정리되어 있거나 말하는 사람이 자신 있어 보인다고 해서, 그 내용까지 사실이라고 받아들일 수는 없다는 겁니다. 내 생각과 잘 맞는 주장이라도 무엇을 근거로 하는지 확인할 필요가 있고요.
그런 교육이나 이야기를 접했다고 누구나 사실을 잘 가려내게 되는 것은 아닐 겁니다. 그래도 무언가를 읽거나 들었을 때, 사실로 받아들이기 전에 한 번 더 확인해야 한다는 감각은 남을 수 있다고 생각합니다.
아날로그 자료를 찾아보던 경험이나 여러 웹페이지를 직접 비교하던 경험이 그 감각을 만드는 데 어느 정도는 도움이 됐을 것 같습니다. 적어도 자료마다 다른 말을 한다는 사실을 마주칠 기회는 있었으니까요.
그런데 처음부터 질문하면 정리된 답이 나오는 환경에서 배우기 시작한 사람에게는 그 과정이 얼마나 남아 있을지 궁금합니다. 어떤 자료가 빠졌는지, 원래 설명에는 어떤 단서가 붙어 있었는지, 서로 다른 주장을 어떻게 하나로 정리했는지까지는 답변만 보고 알기 어렵죠.
물론 이것을 세대 전체의 능력 차이로 단정할 근거는 없습니다. 예전 세대도 틀린 정보를 믿고, 지금의 학생 중에도 출처를 꼼꼼하게 확인하는 사람이 있을 겁니다. 제가 걱정하는 것은 그런 확인을 배우지 못한 채 이 환경에 들어오는 경우입니다.
처음 배운 설명이 틀릴 수도 있습니다
이미 어느 정도 알고 있는 사람은 이상한 답을 받았을 때 멈출 기준이 있습니다. 자신이 아는 내용과 다르니까요. 그 기준이 언제나 맞는 것은 아니더라도, 적어도 다시 찾아볼 이유는 생깁니다.
처음 배우는 사람에게는 그 기준부터 없을 수 있습니다. 틀린 설명을 잘못된 정보로 받아들이는 것이 아니라, 그냥 그 주제에 대한 첫 지식으로 받아들이게 되는 거죠.
가령 AI가 만든 잘못된 설명을 다른 글들이 가져다 쓰고, 나중에 검색한 사람에게 그 글들이 나란히 나온다고 해 보겠습니다. 여러 페이지에서 같은 이야기를 읽었으니 확인했다고 생각할 수 있습니다. 그런데 출처를 끝까지 따라가 보면 하나의 설명을 반복해서 본 것일 수도 있죠.
이런 경우에는 의심해서 검색해 보는 행동까지 했는데도 잘못 배울 수 있습니다. 그 설명이 이후에 다른 정보를 판단하는 기준이 된다면 문제는 더 오래 남을 겁니다.
그래서 저는 틀린 정보가 많아진다는 사실만큼, 틀린 설명을 바로잡을 기회를 충분히 만나지 못할 가능성이 걱정됩니다. 나중에 정확한 자료를 접하더라도, 이미 익숙해진 설명과 다르다는 이유로 오히려 그쪽을 이상하게 볼 수도 있을 테니까요. 여기부터는 논문이 직접 검증한 결과를 넘어선 제 걱정입니다.
이제는 사실을 가려내는 능력도 평가 대상입니다
이 생각은 결국 취업과 인사평가의 문제로 이어집니다.
자료 조사나 문서 작성을 AI에 맡길수록, 그 결과를 제대로 검토하는 능력도 중요해진다고 생각합니다. 내용이 정확한지, 실제 업무에 써도 되는지 판단할 수 있어야 하니까요. 이런 판단력은 채용 과정에서 확인하는 역량이자, 입사 후 업무 수행을 평가하는 기준이 될 수 있겠죠. 앞선 글에서 늘어난 결과물을 검토할 사람이 필요하다고 썼던 것과도 연결됩니다.
이런 역할은 실제 업무 연구에서도 나타납니다. 지식노동자 319명의 AI 사용 경험을 조사한 2025년 연구는 비판적 사고의 활동이 정보 검증, AI 답변의 통합, 업무 전반의 관리 쪽으로 이동하는 모습을 보고했습니다. 자기보고식 설문이므로 판단 능력의 저하나 채용·인사평가의 변화를 입증하는 결과는 아니지만, AI를 쓰는 사람이 어떤 검토를 맡게 되는지 보여줍니다. 연구 소개와 원문
그런데 회사가 채용할 때부터 그 능력을 요구하고, 입사 후에도 평가 기준으로 삼는다면 어떨까요. 앞서 「인터넷 때 끝냈어야 할 숙제입니다」에서는 fact를 가려내는 일을 전문성에만 맡기면, 전문성이 없는 사람은 계속 남의 판단에 기대게 된다고 썼습니다.
그래서 전문성이 없는 사람도 근거를 되짚고 원문을 확인하는 태도를 배울 수 있어야 한다고 봤습니다. 그걸 배우고 연습할 기회는 충분했는지 살피지 않은 채 판단력부터 평가한다면, 배울 기회의 차이를 개인의 역량 차이로만 보게 될 수도 있겠죠.
보고서를 완성하는 일과 그 보고서에 적힌 주장을 확인하는 일은 각각 연습이 필요합니다. AI를 써서 완성된 결과물을 내는 경험만 쌓았다면, 그 안에서 무엇을 의심하고 어디까지 확인해야 하는지 설명하기는 어려울 수 있죠.
그때 회사가 “이 정도는 스스로 판단할 수 있어야 합니다”라고 말한다면, 그 사람은 어디서 그것을 배우고 왔어야 하는 걸까요. 학교에서 충분히 배우지 못했고, 일하면서 배울 기회도 아직 얻지 못한 상태라면 말입니다.
이미 판단의 기준을 가진 사람에게 AI가 도움이 되는 만큼, 그 기준을 처음 만들어야 하는 사람에게 어떤 기회가 남는지도 같이 생각해야 한다고 봅니다.
의심하라는 말 다음도 필요합니다
그래서 “AI를 무조건 믿지 마세요”라는 경고만으로는 부족하다고 생각합니다.
어디를 확인해야 하는지까지 배워야 합니다. 누가 쓴 자료인지, 주장의 근거가 실제로 존재하는지, 다른 출처처럼 보이는 글들이 같은 원문을 옮긴 것은 아닌지 살펴보는 방법 말입니다. 무엇을 확인했기 때문에 믿을 만하다고 판단했는지 설명하는 연습도 필요할 겁니다.
스탠퍼드가 소개한 고등학교 수업 연구에서는 학생들에게 다른 사이트로 이동해 출처를 확인하는 방법 등을 가르친 뒤 온라인 정보 평가 성적이 개선됐습니다. 적어도 이런 능력을 학생들이 저절로 갖추기를 기다릴 필요만 있는 것은 아니라는 이야기죠. 스탠퍼드의 연구 소개
학교에서 결과물과 함께 확인 과정도 살펴보고, 회사에서도 신입이 어떤 근거로 판단했는지 피드백받을 기회를 주는 일이 필요하다고 생각합니다. 판단을 중요하게 여긴다면, 그것을 배우는 데 드는 시간도 인정해야 할 테니까요.
저는 AI를 통해 더 많은 일을 할 수 있게 되는 변화에는 여전히 기대가 있습니다. 다만 그 변화에 참여할 수 있는 조건이 무엇인지가 걱정됩니다.
판단할 줄 아는 사람이 중요해질수록, 그런 사람이 어떻게 길러지는지까지 같이 이야기해야 하지 않을까요. 충분히 배울 기회는 주지 않은 채 이미 그 능력을 갖춘 사람에게만 일을 맡기게 된다면, 아직 배우는 중인 사람은 첫 직장을 어디서 시작할 수 있을지 모르겠습니다.