병목은 생산이 아니라 검증이다 — 루프의 경계는 증거

엔지니어링 리더 애디 오스마니(Addy Osmani)의 최근 강연은 한 문장으로 요약됩니다. 소프트웨어 일의 무게중심이 "코드를 직접 작성하는 것"에서 "AI 에이전트가 수행한 작업을 설계하고, 검증하고, 최종 책임을 지는 것"으로 넘어갔다는 것입니다.

강연이 제시한 수치가 현실을 보여줍니다(이하 수치는 모두 해당 강연 인용). AI가 작성하거나 보조한 코드의 비율은 2022년 6%에서 2025년 42%로 올랐고, 2027년에는 65%에 이를 것으로 예측됩니다. 그런데 개발자의 96%는 AI 코드를 완전히 신뢰하지 않는다고 답하면서, 커밋 전에 항상 검증한다는 응답은 48%에 그칩니다. 응답자의 85%가 리뷰와 검증이 병목이라고 답했습니다.

생산은 폭발했는데 검증은 그대로입니다. 불신은 높은데 확인할 여력은 바닥났습니다. 이것이 AI 도입 이후 모든 조직이 마주치는 실제 병목입니다.

1. 3가지 함정 — 문제는 AI가 아니라 빌려온 확신이다

강연은 이 상태를 방치했을 때 빠지는 함정 3가지를 짚습니다.

첫째, 인지적 부채. AI가 만든 결과물로 시스템을 채워 가면 코드는 쌓이는데, 그 구조를 진짜로 이해하는 사람이 조직에서 사라집니다. 둘째, 인지적 항복. AI가 틀린 답을 내놓았을 때 73%의 사람이 그 오답을 그대로 채택했고, 심지어 확신은 더 강해졌습니다. 실패의 원인은 AI 사용이 아니라, 검증 없이 빌려온 확신입니다. 셋째, 오케스트레이션 세금. 에이전트를 수백 개 병렬로 돌려도 사람의 인지 대역폭은 병렬화되지 않습니다. 관리할 루프가 늘수록 결과를 병합하고 검증하는 피로만 커집니다.

셋의 공통 결론은 하나입니다. 에이전트를 늘리는 것이 능력이 아니라, 검증을 감당 가능하게 설계하는 것이 능력이라는 것.

2. 루프의 경계는 증거다

강연이 제시하는 구조는 명확합니다. 에이전트는 안쪽 루프를 돕니다 — 조사하고, 만들고, 시험합니다. 사람은 바깥 루프를 잡습니다 — 결정하고, 검증하고, 운영을 책임집니다. 그리고 두 루프의 경계에 놓이는 것이 증거입니다. 에이전트는 "다 했습니다"라는 말이 아니라 로그, 시험 결과, 대조 기록 같은 판단 근거를 내놓아야 하고, 사람은 그 증거를 보고 승인합니다.

강연은 여기에 한 가지를 더합니다. 코딩 속도, 암기력, 심지어 감각까지 — 실무 역량의 가치는 새 모델이 나올 때마다 내려갑니다. 시간이 지나도 가치가 내려가지 않는 것은 하나, 결과물에 자기 이름을 걸고 책임지는 태도뿐입니다.

3. 저희가 이 구조로 일하는 방식

이 구조가 낯설지 않은 이유가 있습니다. 저희 웨이스가 웨이스 워크벤치로 일하는 방식이 정확히 이것이기 때문입니다.

저희 에이전트들은 안쪽 루프를 돕니다. 제안서 초안을 만들고, 회사 수치를 기준 원본과 대조하고, 문서 전체의 어긋남을 훑습니다. 그리고 결과만 내놓는 것이 아니라 증거를 함께 반환합니다 — 어떤 수치를 어떤 원본과 대조했고 무엇이 걸렸는지의 검증 리포트입니다. 발송과 최종 결정, 즉 바깥 루프는 언제나 사람이 잡습니다. 에이전트 수를 늘리는 대신 역할이 분명한 소수의 에이전트로 나누고, 통과 기준을 게이트로 박아 두는 것도 같은 이유입니다.

제조 현장에서는 이 구조가 더 절실합니다. 공장에서 AI의 판단은 설비와 사람에 직결되기 때문에, 저희는 AI가 근거 데이터를 제시하고 안전 단계에 따라 사람이 승인 범위를 넓혀 가는 구조로 자율화를 설계합니다. 소프트웨어든 공장이든 원리는 같습니다. 자율의 크기는 증거의 크기만큼만 커져야 합니다.

공급사에 물어보십시오

앞선 두 글에서 저희는 "파는 것을 매일 사용하는가", "끝났을 때 무엇이 남는가"를 물었습니다. 오늘의 질문은 세 번째이자 마지막입니다.

"그 AI는 증거를 내놓습니까? 그리고 최종 책임은 누가 집니까?"

일을 대신하는 AI는 많아질 것입니다. 그러나 증거 없이 확신만 주는 AI는 빌려온 확신, 그 이상이 되지 못합니다. 검증을 감당 가능하게 설계한 시스템과 결과에 이름을 거는 사람 — AI 시대에 사야 할 것은 결국 이 둘입니다.