AI 는 같은 코드를 매번 새로 짠다. 그리고 답도 매번 다르다

그대로 붙여 넣기 · Claude Code (hook 이 있는 다른 도구도 같은 방식)

이 프로젝트에 «도구마다 대응하는 검증 도구» 규칙을 hook 과 실행 스크립트로 만들어 적용하라. 분석 스크립트를 새로 만들 때는 같은 일을 하는 도구가 있는지 먼저 찾고, 새 도구에는 결과가 내가 원한 것과 같은지 확인하는 대응 검증 도구를 함께 만든다. 도구는 실행 스크립트로만 돌리고, 검증 도구가 없으면 실행을 거부하며, 합격 여부는 종료 코드(0 합격 · 1 불합격 · 2 세 번 연속 불합격 · 3 검증 도구 없음)로만 말하게 하라. 같은 방법으로 세 번 못 채우면 멈추고, 시도한 것과 의심되는 원인을 보여 줘라.

이 문장을 주면 이렇게 달라진다

• 실행 스크립트가 자동으로 검증 도구가 없는 도구를 거부한다. 도구를 일회용으로 짜서 버리는 일이 줄어든다.
• 합격 보고에 종료 코드가 붙어, 당신도 같은 명령을 돌려 맞는지 볼 수 있다.
• 우리 결과. 도구 96개 중 검증 도구가 없는 것 0개. 세 번 연속 못 채워 멈춘 일이 실제로 있었고, 같은 시도를 되풀이하는 대신 원인을 고쳐 풀었다.
• 안 된 것. 검증 도구가 틀리면 합격이 틀린 채로 나온다. 문제 아닌 것을 불합격으로 본 검사가 두 건 있었다.

이런 증상이 보이면 이 글이 맞다

• AI 가 분석 스크립트를 그때그때 짜서 쓰고 버린다
• 같은 실패를 같은 방법으로 계속 되풀이한다
• «됐다»는데 내가 원한 결과인지 아무도 확인하지 않는다