AI에 남의 프롬프트를 그대로 넣어도 같은 결과가 나오지 않는 이유는 공개되지 않은 시행착오에 있습니다
양자컴퓨팅 이론의 석학 스콧 애런슨 교수는 2025년 9월 GPT-5의 도움으로 증명 하나를 끝냈습니다. 그런데 그가 블로그 댓글에 남긴 기록을 보면 AI에게 던진 질문은 9개였고, 쓸 만한 답은 8번째 질문 뒤에야 나왔습니다.
#검증
이 태그가 붙은 글 · 모두 14편
웨이스가 AI 규칙 파일 525줄을 181줄로 줄여 같은 과제를 36회 맡겨 보니, 지켜진 규칙과 빠진 문장 2개가 드러났습니다
웨이스가 AI에게 주는 규칙 파일 525줄을 181줄로 줄이고 같은 과제를 36회 맡겨 보니, 블로그 원고의 금지 표현과 메일 첨부 규칙은 그대로 지켜졌고 줄이면서 빠진 문장 2개가 결과에 고스란히 나타났습니다.
거래처 목록 300행, AI로 값은 두고 표기만 고치기 (30분)
오늘은 회사명·직책·전화·주소 표기가 제각각인 거래처 목록 300행을 AI 로 정리해, 표기가 통일된 목록 파일과 변경 목록, 다음 입력자가 지킬 입력 규칙 5줄을 만듭니다. 30분 걸립니다. AI 에게 시키는 것은 한 문장입니다.
20쪽 공문, AI 요약에서 빠진 숫자·기한 잡기 (25분)
오늘은 최근 받은 20쪽 안팎의 공문 1건을 AI 로 「한 장 요약」으로 만들어 상사에게 보냅니다. 한 장에는 5줄 요약, 숫자·기한·조건·예외 표, 이번 주 할 일 3줄이 들어가고 25분 걸립니다. 빠진 숫자와 기한을 잡는 방법은 하나입니다.
설비 제어 로직을 소프트웨어로 실행해 보면, 처음 틀리는 곳은 3군데입니다
공장 설비를 실제로 움직이는 것은 PLC라고 부르는 제어기입니다. 컨베이어를 언제 세우고 실린더를 언제 내릴지는 이 제어기 안의 프로그램이 정하고, 그 프로그램은 IEC 61131-3이라는 국제 표준이 정한 언어로 쓰입니다. 그중 현장에서 가장 많이 쓰이는 것이 전기 회로도처럼 생긴 래더 다이어그램입니다.
사내 AI 업무 시스템이 사칭 발주서를 잡았습니다하루 늦게
지난 9월 8일 아침, 대표가 시스템에 메일 한 통을 확인해 달라고 했습니다. 전날 9,700만원짜리 공공기관 과업지시서를 보낸 그 담당자가, 이번에는 열화상 카메라 5대를 6,490만원에 사 달라는 발주서를 보냈습니다.
오타를 막으려고 고른 방법이 그림의 생김새까지 정해버렸습니다
글에 넣을 이미지 세 장을 만들었는데, 다 내놓고 보니 셋이 한 형제처럼 생겼습니다. 스타일을 그렇게 고른 적이 없습니다. 오히려 "한 글 안에서 계열을 섞는다"는 규칙을 두고 있었습니다.
검사 결과가 0건일 때, 없는 것과 검사가 고장 난 것을 어떻게 가릅니까
검사를 돌렸는데 결과가 0건으로 나왔습니다. 이때 우리는 보통 안심합니다. 걸린 게 없다는 뜻이니까요. 그런데 0은 두 가지를 동시에 뜻합니다. 정말 없거나, 검사가 고장 났거나. 이 둘은 화면에서 똑같이 생겼습니다. 오류 메시지도, 빨간 글자도, 종료 코드 1도 없습니다. 그냥 조용히 0입니다.
AI가 요구사항을 채우게 하면서, 우리는 무엇을 제한했나
저희는 회의 녹음과 문서에서 시스템 요구사항을 자동으로 채우는 기능을 만들고 있습니다. 담당자와 두세 시간 이야기한 녹음을 넣으면 표준 질문 트리가 채워지고, 그 결과가 진단서와 견적의 입력이 됩니다.
AI에게 준 규칙, 무엇을 보고 지워야 할까요
AI에게 일을 시키려면 규칙을 적어 줘야 합니다. 무엇을 먼저 확인하고, 무엇을 하면 안 되고, 어디서 멈춰 사람에게 물어야 하는지를 문서로 만들어 매번 읽힙니다. 문제는 그 문서가 한 방향으로만 자란다는 것입니다.
에이전트 스무 개가 만장일치로 틀리는 법합의는 검증이 아니다
같은 모델 에이전트 스무 개는 같은 오류에 만장일치로 동의합니다. 상호 리뷰와 다수결은 신뢰성을 올리지 않습니다 — 검증은 언제나 시스템 밖의 증거가 합니다. 부샤르의 그래프 엔지니어링 하이프 해체를 저희 운영 경험으로 재해석했습니다.
저희가 바이트코드를 안 읽어도 됐던 이유
며칠 전 「코드를 모르는 개발자의 시대가 온다」는 칼럼을 읽었습니다. 개발자 닉 하지스(Nick Hodges)가 ITWorld에 쓴 글입니다. 논지는 이렇습니다. 아무도 JVM 바이트코드나 .NET CIL을 손으로 쓰지 않는 것처럼, 머지않아 타입스크립트와 파이썬도 손으로 쓰지 않게…
트윈이 답을 미리 알고 있으면, 그건 트윈이 아닙니다
며칠 전 저희 데모 공장 트윈을 보던 대표가 물었습니다. "이게 완전한 자동 시뮬레이션 공장이 된 건가?"
병목은 생산이 아니라 검증이다루프의 경계는 증거
엔지니어링 리더 애디 오스마니(Addy Osmani)의 최근 강연은 한 문장으로 요약됩니다. 소프트웨어 일의 무게중심이 "코드를 직접 작성하는 것"에서 "AI 에이전트가 수행한 작업을 설계하고, 검증하고, 최종 책임을 지는 것"으로 넘어갔다는 것입니다.
