산업 AI 에이전트 논문 88편을 훑어보니 — 9할은 아직 실험실에 있었다

저희는 주기적으로 최신 논문과 오픈소스 동향을 훑습니다. 만들고 있는 것이 맞는 방향인지, 학계와 업계가 어디까지 왔는지 확인하기 위해서입니다. 이번 주 스캔에서 눈에 띈 논문이 3편 있었는데, 셋을 나란히 놓으니 하나의 그림이 보였습니다. 오늘은 그 이야기를 하려고 합니다.

첫 번째 숫자: 실제 공장에 들어간 것은 9.1%

연구진(Henkel 외 15인)이 산업 자동화 분야의 파운데이션 모델 에이전트 연구를 전수 조사했습니다. 2,341편의 논문을 추려 88편을 정밀 분석한 체계적 문헌 리뷰인데, 결과가 인상적입니다. 보고된 시스템의 75%가 기술 성숙도(TRL) 4~6단계, 그러니까 실험실 검증에서 시제품 실증 사이에 머물러 있었고, 실제 현장 배치 근거가 확인된 연구는 9.1%에 그쳤습니다. 2026년 5월 공개된 프리프린트(arXiv 2605.02592) 기준입니다.

"AI 에이전트가 공장을 바꾼다"는 이야기는 넘치지만, 논문으로 보고된 것 중 공장 안에서 실제로 돌아간다고 확인된 것은 10건 중 1건이 안 된다는 뜻입니다. 데모와 현장 사이의 거리가 그만큼 멉니다.

두 번째 발견: 잘하는 일과 못하는 일이 갈린다

같은 리뷰가 에이전트의 능력을 항목별로 비교했는데, 결과가 뚜렷하게 갈립니다. 파운데이션 모델 에이전트는 기존 방식 대비 사람과의 상호작용(+37%)과 불확실한 상황 대응(+35%)에서 강했고, 협상(-39%)에서는 오히려 약했습니다. 실제 활용처도 사용자 보조, 모니터링, 공정 최적화에 몰려 있었고 계획·스케줄링에서는 아직 약했습니다.

이 결과는 저희가 현장에서 배운 설계 원칙과 정확히 겹칩니다. 언어모델에게는 해석과 소통, 예외 상황 대응을 맡기고, 계획과 제어는 결과가 보장되는 확정적 시스템에 남겨야 한다는 것. AI가 만능이어서가 아니라, 잘하는 일과 못하는 일이 다르기 때문에 계층을 나누는 것입니다.

세 번째 발견: 신뢰성은 모델이 아니라 설계에서 온다

7월에 나온 또 다른 프리프린트(Dastidar, arXiv 2607.17044)는 실제 운영 중인 기업용 에이전트를 뜯어 "신뢰성이 정확히 어디서 오는지"를 어블레이션(ablation, 요소를 하나씩 떼어 보며 기여도를 재는 분석)으로 측정했습니다. 결과가 흥미롭습니다. 한 벤치마크에서 정확도가 11점 오를 때, 그중 9.5점은 스캐폴딩(scaffolding) 설계 — 작업을 어떻게 쪼개고, 어떤 작업을 어떤 모델에 배정하고, 전문화된 소형 모델을 어디에 두는지 — 에서 왔습니다. 답을 실행해 보고 고치는 검증 루프 자체의 기여는 1.5점이었습니다. 다만 이 1.5점은 가장 어려운 실패를 구제하는 데 집중돼 있었습니다.

한 시스템의 사례 연구라는 한계는 있지만, 방향은 분명합니다. 에이전트의 신뢰성은 더 큰 모델을 갖다 끼운다고 생기지 않습니다. 일을 나누는 구조, 검증하는 절차, 실패를 잡아내는 장치 — 시스템 설계가 신뢰성의 대부분을 만듭니다.

큰 그림: 학계가 이 전환에 이름을 붙이기 시작했다

세 번째 논문(Zhang, arXiv 2605.24823, 5월 프리프린트)은 아예 이 전환에 이름을 붙입니다. 제조업의 5번째 전환, "Agent Manufacturing". 지금까지의 자동화가 물리 작업과 정형화된 사무 작업을 대상으로 했다면, 이번 전환의 대상은 그동안 엔지니어와 관리자의 머릿속에 있던 조정 업무 — 상황을 해석하고, 자원을 배분하고, 이상을 진단하는 판단의 계층이라는 주장입니다. 아직 한 연구자의 제안 프레임이지만, 저희가 "제조에는 판단을 잇는 운영체제가 필요하다"고 말해온 것과 같은 방향을 학계가 정식화하기 시작했다는 신호로 읽습니다.

세 논문을 겹쳐 읽으면

정리하면 이렇습니다. 방향은 정해졌는데(5번째 전환), 논문 속 시스템의 9할은 아직 공장에 들어가지 못했고(9.1%), 그 격차를 가르는 것은 모델 크기가 아니라 시스템 설계(9.5점 대 1.5점)라는 것.

저희에게 이 격차는 낯설지 않습니다. 실제 공장에 AI를 들여놓으려면 논문에는 잘 안 나오는 것들이 필요합니다. 현장 용어와 설비 데이터를 하나로 정리한 표준, 모든 답이 근거로 이어지는 데이터 체계, 권한을 단계적으로만 넓히는 검증 절차, 그리고 물리 법칙과 안전 규격이 최종 경계가 되는 구조. 저희가 VEXPLOR를 실제 현장에 구축하고 운영하면서 매일 확인하는 것은, 이 지루해 보이는 기반 작업이 바로 9.1%와 나머지 90.9%를 가르는 선이라는 사실입니다.

AI 에이전트의 시대는 논문 숫자가 아니라, 공장 안에서 돌아가는 시스템의 숫자로 옵니다. 저희는 그 숫자를 늘리는 쪽에 서 있습니다.

웨이스가 하는 일이 궁금하시면: wace.me