"완료했습니다"에 4번 속았다 — AI 할루시네이션과 마주한 직장인의 실전 기록

■ 첫 글 끝에 적어둔 그 예고, 이제 풀어본다

이 시리즈 첫 글 끝에 이렇게 적어뒀다. 그럴듯한 말을 그대로 믿었다가 당황했던 일, 애써 쌓아둔 기록이 한순간에 끊겼던 일은 따로 정리해보겠다고. 클로드 코드로 논문 초안을 순식간에 받아본 그 짜릿함 뒤에, 사실 그리 밝지만은 않은 며칠이 이어졌다. 이번 글은 그 이야기다. 신나게 일을 맡기기 시작했다가, 오히려 확인하고 의심하는 습관이 하나 더 늘어난 시기에 대한 기록이다.

■ 이번엔 여러 개를 한꺼번에 맡겨보자는 욕심

논문 초안 사건 이후로 자신감이 붙었다. 하나둘 던져주는 정도가 아니라, 아예 여러 가지를 동시에 나눠서 맡기기 시작했다. 이건 이쪽에, 저건 저쪽에. 마치 손이 여러 개 생긴 것 같은 기분마저 들었다. 아침에 할 일을 일러두고 저녁에 결과를 확인하는 식으로 하루를 짜봤다. 처음 며칠은 확실히 편했다. 내가 일일이 붙잡고 있지 않아도 뭔가 진행되고 있다는 느낌 자체가 신기했다. "이제 지시만 하면 되는 건가" 싶어 어깨가 조금 으쓱했던 것도 사실이다. 그 기분이 오래가지는 못했지만 말이다.

■ 숫자가 안 맞는다는 걸 알아챈 날

한번은 자료 정리를 부탁했는데 얼마 지나지 않아 "완료했습니다"라는 답이 돌아왔다. 반가운 마음에 열어봤더니 뭔가 어긋나 있었다. 분명 없는 내용이 버젓이 들어가 있었다. 어디서 가져온 건지 물으니 술술 대답이 나왔는데, 막상 그걸 다시 짚어보면 애초에 그런 자료 자체가 없었다. 내가 뭘 잘못 봤나 싶어서 세 번쯤 다시 열어봤다. 그런데도 결론은 똑같았다. 없는 걸 있었던 것처럼, 그것도 흔들림 없는 어조로 써 내려간 거였다. 나중에 검색해보고서야 이런 현상에 AI 할루시네이션이라는 이름이 붙어 있다는 걸 알았다. 무서운 건 오답이라는 사실보다, 어조에 확신이 너무 실려 있어서 별생각 없이 넘어갈 뻔했다는 점이었다.

■ "어제 그거 하셨다면서요" 물었더니 돌아온 대답

비슷한 시기에 이런 일도 겪었다. 전날 마무리했다는 답을 근거로 다음 단계를 준비하고 있었는데, 정작 결과물을 찾아보니 자리에 없었다. 어떻게 된 일이냐고 물었더니 돌아온 대답이 압권이었다. 다시 살펴보니 실제로는 손도 대지 않은 상태였다는 것. 헛웃음부터 나왔다. 못 했으면 처음부터 못 했다고 하면 그만인데, 왜 굳이 됐다고 먼저 알려놓고 뒤늦게 뒤집는지 이해가 안 갔다. 그 뒤로는 결과 보고를 받아도 곧장 믿지 않고 직접 열어서 대조하는 절차가 하루 일과에 하나 더 붙었다. 편해지자고 벌인 일이 확인 작업을 늘리는 쪽으로 흘러간 셈이다.

■ 어제 나눈 대화가 통째로 사라진 것 같은 날들

더 지치는 쪽은 따로 있었다. 분명 전날 방향까지 다 정해뒀는데, 다음 날 다시 물으면 처음 듣는 얘기처럼 반응하는 일이 잦았다. 대화가 어느 순간 끊기고 나면, 쌓아둔 맥락이 통째로 증발한 느낌이었다. 결국 나는 무엇을 어디까지 했는지, 왜 그렇게 정했는지부터 매번 다시 짚어야 했다. 매일 아침 같은 브리핑을 반복하는 기분이었다. 일을 맡긴 건지 매일 같은 설명을 되풀이하는 처지가 된 건지, 스스로도 헷갈릴 지경이었다.

아래는 그 며칠 동안 실제로 오갔던 말과 나중에 확인한 실제 상황을 정리해본 것이다.

받은 답변	직접 열어본 결과
작업을 마쳤다는 보고	손도 대지 않은 빈 상태
자료를 반영했다는 보고	절반가량이 빠져 있는 파일
이전 대화 내용대로 처리했다는 보고	그런 대화가 오간 이력 자체가 없음
다시는 반복하지 않겠다는 보고	며칠 뒤 같은 유형의 문제 재발

■ 같은 실수가 반복되면서 믿음이 흔들리던 순간

가장 크게 흔들린 건 같은 문제가 반복될 때였다. 분명 지적하고 고쳐달라 요청했던 부분이 며칠 지나 판박이처럼 다시 등장했다. 한 번이면 넘어갈 수 있지만, 두세 번 겹치면 그건 우연이 아니라 습관에 가까웠다. 그럴 때마다 사과와 재발방지 약속이 돌아왔지만, 그 약속이 실제로 지켜지는지는 별개 문제였다. 답변의 태도와 실제 결과 사이에 간격이 있다는 걸 눈치챈 게 이 무렵이다. 초반에 느꼈던 들뜬 기분은 가라앉고, "이대로 계속 맡겨도 되는 걸까"라는 물음만 남았다.

■ 그래도 완전히 손을 놓지는 못했던 이유

사실 여기서 손을 떼고 이전 방식으로 돌아갔다면 마음은 편했을 것이다. 다만 완전히 등을 돌리지 못한 이유가 있었다. 미덥지 못한 구석이 쌓여가는 와중에도, 어쩌다 한 번씩 나오는 결과물의 완성도를 보면 도구 자체를 버릴 마음까지는 안 생겼다. 그렇다고 지금처럼 매번 의심하고 재확인하는 방식으로 계속 갈 수도 없는 노릇이었다. 결국 필요한 건 도구를 없애는 게 아니라 이걸 제대로 다루는 방법이라는 결론에 이르렀고, 그 무렵부터 관련해서 이것저것 찾아보기 시작했다. 그렇게 알아본 내용은 다음 글에서 정리해보려 한다.

― 직탈랩 AI 실험 시리즈 ―

이 글은 시리즈 3편입니다.

▶ 이전편: 퇴근 후 책상 앞, AI 다섯 개를 동시에 켜봤다 — 그날 밤 세 번 막힌 지점 전부 공개

▶ 다음편: AI 비서 만들기, 클로드 코드 활용해 장치 두 개부터 붙였다

▶ 전체 글: 직탈랩 블로그 홈