AI가 만든 결과물의 가장 위험한 점은 틀렸을 때 티가 안 난다는 겁니다.
문장이 매끄럽고 형식도 완벽해서 그냥 믿게 됩니다. 그런데 그 안의 숫자가 지어낸 것일 수 있어요.
어디를 먼저 봐야 하는지 순서를 정해두면 검증이 빨라집니다.
왜 지어내나
AI는 “다음에 올 법한 말”을 만드는 방식으로 작동합니다. 사실을 조회하는 게 아니라 그럴듯한 문장을 생성하는 거예요.
그래서 모르는 것도 모른다고 하지 않고 자연스럽게 채워 넣습니다. 이걸 환각(hallucination)이라고 부릅니다.
악의가 있는 게 아니라 구조가 그렇습니다. 쓰는 사람이 확인해야 합니다.
특히 위험한 다섯 가지
이것부터 보세요. 여기서 대부분 걸립니다.
① 숫자
통계, 금액, 비율, 증감률. 가장 많이 틀리고 가장 티가 안 납니다.
“전년 대비 23% 성장”처럼 구체적일수록 더 그럴듯해 보이는데, 근거 없이 나온 숫자인 경우가 많습니다.
자료를 주고 계산시킨 경우에도 계산 과정에서 틀립니다. 특히 백분율과 누적 합계요.
② 날짜
법 시행일, 제도 변경 시점, 마감일. 한 해 차이가 나면 내용 전체가 틀린 게 됩니다.
③ 인용과 출처
이게 가장 위험합니다. 존재하지 않는 논문, 없는 책, 가짜 URL을 만들어냅니다.
제목과 저자 이름이 그럴듯해서 진짜처럼 보입니다. 인용이 있으면 반드시 검색해서 실재하는지 확인하세요.
“출처를 알려줘”라고 물어도 소용없는 경우가 있습니다. 출처까지 지어내니까요.
④ 법령·규정
조문 번호, 요건, 벌칙. 실제와 다르게 나오는 경우가 흔합니다.
법제처 국가법령정보센터에서 원문을 확인하세요. 요약본이 아니라 조문을 직접 보셔야 합니다.
⑤ 고유명사
사람 이름, 회사명, 제품명, 기관명. 비슷한 이름으로 바뀌어 있는 경우가 있습니다.
검증하는 순서
1단계 — 숫자와 날짜에 표시
먼저 결과물을 훑으면서 숫자와 날짜에 형광펜을 치듯 표시합니다. 이것들만 확인해도 위험의 절반은 걸러집니다.
2단계 — 원자료와 대조
내가 준 자료가 있다면 그것과 하나씩 맞춰봅니다. 자료를 안 줬다면 그 숫자는 근거가 없다고 봐야 합니다.
3단계 — 인용은 검색
논문·기사·통계 출처가 있으면 제목으로 검색해보세요. 안 나오면 지어낸 겁니다.
4단계 — 공식 사이트에서 확인
법령은 법제처, 세금은 국세청, 복지는 복지로. 1차 출처를 보는 게 가장 확실합니다.
5단계 — 이해 안 되는 문장 삭제
읽었는데 무슨 말인지 모르겠다면 지우세요. 나중에 질문받으면 답을 못 합니다.
종류별로 다르게 봐야 합니다
계산 결과 — 간단한 것이라도 엑셀에서 검산하세요. 특히 여러 단계 계산은 중간에 틀리는 경우가 많습니다.
코드 — 반드시 실행해봐야 합니다. 문법은 맞는데 동작이 다른 경우가 흔해요. 작은 데이터로 먼저 돌려보고 확대하세요. 엑셀 수식도 마찬가지입니다.
번역 — 매끄럽게 나오지만 원문의 의미가 바뀌어 있을 수 있습니다. 중요한 문서는 역번역해보세요.
요약 — 원문에 없는 내용이 들어가거나, 중요한 조건이 빠지는 경우가 있습니다. “~를 제외하고”, “다만” 같은 단서 조항이 특히 잘 사라집니다.
애초에 덜 틀리게 하는 법
자료를 주고 그 안에서만 쓰게 하세요.
아래 자료로만 정리해줘.
자료에 없는 숫자나 사실은 절대 쓰지 마.
추가 정보가 필요하면 "[확인 필요]"라고 표시해줘.이 지시를 넣으면 지어내는 게 크게 줄고, 빠진 부분을 표시해주니 어디를 채워야 할지 알 수 있습니다. 프롬프트 쓰는 법은 결과가 달라지는 네 가지에 정리했습니다.
모르면 모른다고 하라고 지시하세요. 이것만으로도 확신에 찬 오답이 줄어듭니다.
다른 AI에게 교차 확인하는 방법도 있습니다. 같은 질문을 다른 도구에 넣어보고 답이 다르면 둘 다 의심하세요. 챗GPT와 클로드 비교 글에서 다룬 것처럼 도구마다 강점이 다릅니다.
결국 책임은 사람에게 있습니다
“AI가 그렇게 말했다”는 변명이 되지 않습니다. 보고서에 이름이 들어가는 건 사람이니까요.
AI는 초안을 빠르게 만들어주는 도구입니다. 검증까지 대신해주지는 않습니다. 그 시간을 아낀 만큼 확인에 쓰시면, 결과적으로 훨씬 빠르고 안전합니다.