AI 의 "완료했습니다"는 거짓말이었다

목 · 구현기 · 약 900자

붙임 1 · 원문 · code.claude.com

Claude Code 공식 hook 문서. 답이 끝나는 순간 Stop hook 으로 막고 다시 일하게 하는 동작을 확인해, 근거 명령을 다시 돌려 비교하는 끝내기 검사에 적용했다.

code.claude.com/docs/en/hooks · 원문 확인 2026-10-26

로봇이 초록 체크 표시를 들고 웃는데, 바로 뒤에서 쌓아 둔 블록 탑이 기울어 무너지고 있다
작동 장면: 완료 보고, 다시 돌림, 막힘. AI 가 통과했다고 보고하고, hook 이 같은 명령을 다시 돌리면 실패가 나오고, 끝내기가 막혀 다시 일하게 된다.
완료 보고를 hook 이 다시 확인하는 흐름 AI 가 완료 보고와 근거 명령을 내면 hook 이 그 명령을 다시 돌린다. 완료 조건을 채웠으면 통과, 못 채웠으면 끝내기를 막고 다시 일하게 한다.
말 대신 실행 결과로 확인한다

판단

AI 는 "끝났다"고 했다. 열어 보니 원하던 결과가 아니었다. 이런 불만이 88건. 6주 내내 줄지 않았다.

사실

검사도 속았다. 답 끝에 «점검» 제목만 있으면 통과였다. 적힌 근거가 맞는지는 아무도 보지 않았다.

판단

그래서 말을 믿지 않기로 했다. hook 이 보고에 적힌 명령을 직접 다시 돌린다. 결과가 다르면 끝내기를 막는다.

사실

아직 한 번도 막지 않았다. 7일, 96줄, 전부 일치. 효과는 아직 모른다. 30일 뒤에도 0번이면 걷어낸다.

결론: 이 문장을 AI 에게 주세요

판단

그대로 붙여 넣기 · Claude Code (hook 이 있는 다른 도구도 같은 방식)

이 프로젝트에 «완료 확인» hook 을 만들어 적용하라. 일을 시작할 때 이번 작업의 완료 조건(내가 원한 결과 · 통과해야 할 테스트 · 빌드)을 먼저 한 줄로 적어 둔다. 네가 «완료»라고 보고할 때마다 이 hook 이 자동으로 돌아 그 완료 조건을 실제로 실행해 확인한다. 조건을 못 채우면 끝내기를 막고 무엇이 모자란지 보여 준 뒤 다시 일하게 하라. 확인 명령은 파일을 바꾸지 않는 읽기 전용으로 고른다.

판단

이 문장을 주면 이렇게 달라진다

  • 완료 보고마다 hook 이 자동으로 돌아 완료 조건을 채웠는지 확인한다.
  • 조건을 못 채우면 끝내기가 막히고 모자란 것이 보인다. 당신이 하나하나 열어 볼 일이 줄어든다.
  • 우리 결과. 보고에 적힌 근거 96줄을 다시 돌려 보니 모두 실제 결과와 같았다(7일).
  • 안 된 것. hook 없이 «확인하고 보고하라» 문장만 주었을 때는 6주 동안 줄지 않았다. 그래서 hook 을 적용하는 문장으로 바꿨다.

판단

이런 증상이 보이면 이 글이 맞다

  • AI 가 끝났다는데 열어 보면 원하던 결과가 아니다
  • «통과했다»는 말만 있고 근거 명령이 없다
  • 근거 명령을 돌려 보면 결과가 다르다

← 전체 목록으로