공장장이 AI 도입을 미루는 이유는 기술이 아니라, AI가 틀렸을 때 그 책임이 공장장에게 남기 때문입니다

공장을 가진 중소·중견 제조기업 16만 3,273곳 가운데 제조 AI를 도입한 곳은 0.1%이고, 데이터·AI 전담 인력을 둔 곳은 0.8%입니다(중소벤처기업부 「2024 스마트제조혁신 실태조사」, 2025년 4월 발표). 발표 보도자료에는 AI를 도입하지 않은 이유가 나오지 않습니다. 국내외 조사를 찾아봐도 공장장에게 직접 「왜 AI를 미루는가」를 물은 공개 조사는 찾지 못했습니다. 응답자는 대부분 경영진이었습니다.

제조 AI 운영체제 VEXPLOR를 만드는 웨이스는 공장에 AI를 넣을 때 마지막으로 고개를 끄덕여야 하는 사람이 공장장이라는 것을 현장에서 봅니다. 그래서 공장장 대신 공장장과 같은 처지에 있는 사람들, 곧 AI 결과를 받아 들고 결정해야 하는 현장 판단자를 연구한 자료를 모았습니다. 반도체 공장 엔지니어 인터뷰, 물류창고와 자판기 현장의 무작위 실험, 병원 영상의학과 10개월 관찰, 알고리즘 회피 실험, 국내외 제조기업 조사까지 13건의 원문을 읽고 공통으로 나오는 이유를 정리했습니다.

AI가 틀렸을 때 책임은 AI가 아니라 공장장에게 남습니다

독일 반도체 기업 인피니언의 공정 엔지니어들을 인터뷰한 연구(Mević·Krivić, 2026)에서 참여자들은 같은 말을 반복했습니다. AI 예측이 틀렸을 때 그 책임을 AI 시스템에 물을 수는 없고, AI를 배치하고 쓰는 사람이나 부서가 져야 하며, 그 범위는 경영진이 미리 정해야 한다는 것입니다. 참여자 전원이 판단 근거를 설명할 수 있어야 AI를 믿을 수 있다고 답했고, 지금의 AI를 「대부분 블랙박스」라고 불렀습니다. 인터뷰 대상이 4명뿐이라 저자들도 일반화가 아니라 시사점이라고 밝혔습니다.

한국지능정보사회진흥원(NIA)이 AI를 쓰는 제조기업을 조사한 보고서(2025)도 AI 확산을 막는 문제로 「AI 활용에 따른 기술 제공자-활용 기업-소비자 간 책임소재 불분명」을 꼽았습니다. 자동화 사고를 분석한 연구(Elish, 2019)는 이 구조에 이름을 붙였습니다. 자동차의 충격 흡수 구간처럼, 자동화가 실패하면 통제권이 제한적이던 가장 가까운 사람에게 책임이 몰린다는 것입니다.

공장장이 AI 도입 회의에서 성능보다 「틀리면 누가 책임지느냐」를 먼저 묻는 것도 그래서입니다. AI가 생산 순서를 바꿨는데 납기가 밀리면, 사고 보고서에 남는 이름은 AI가 아니라 공장장입니다.

AI는 한 번 틀리면 같은 실수를 한 사람보다 먼저 버려집니다

미국 펜실베이니아대 연구진의 실험 5건(Dietvorst·Simmons·Massey, 2015)은 사람들이 알고리즘과 사람 중 누구의 예측을 쓸지 고르게 했습니다. 알고리즘이 틀리는 것을 본 참가자는 알고리즘을 덜 믿고 사람의 예측을 더 많이 골랐습니다. 사람의 오차가 알고리즘의 거의 두 배인 과제에서도, 알고리즘이 사람보다 잘하는 것을 직접 본 참가자 대다수에게서도 같았습니다. 저자들의 결론은 「사람들은 같은 실수를 해도 사람보다 알고리즘을 먼저 버린다」였습니다.

실험실 연구라서 공장에 그대로 옮길 수는 없습니다. 다만 AI 품질검사가 양품 하나를 불량으로 판정한 일이 현장에서 몇 달씩 이야기되는 이유를 설명해 줍니다. 숙련자가 같은 실수를 하면 「그럴 수 있다」로 넘어가지만, AI가 하면 「역시 못 믿는다」가 됩니다.

이유를 말하지 않는 AI 결과는 무시되거나 그대로 받아들여집니다

미국 대형 병원 영상의학과 세 부서를 10개월 동안 관찰한 연구(Lebovitz 외, 2022)에서 세 부서 모두 AI 결과가 의사 판단과 자주 달랐고, 이유를 알 수 없어 불확실성이 커졌습니다. AI 결과를 판단에 꾸준히 반영한 부서는 한 곳뿐이었습니다. 그 부서에는 자기 근거와 AI의 근거를 맞대어 보는 습관이 있었습니다. 나머지 두 부서는 AI 결과를 무시하거나, 따져 보지 않고 그대로 받아들였습니다.

공장이 아니라 병원 연구입니다. 하지만 설명 없는 결과를 받은 숙련자가 무시하거나 그대로 믿는 두 가지로 나뉜다는 점은 공장에서도 같습니다. 둘 다 공장장에게는 위험합니다. 무시하면 AI를 들인 의미가 없고, 그대로 믿으면 틀렸을 때 책임을 설명할 수 없습니다.

MIT 신제조 이니셔티브의 지원으로 28개 회사에서 33건의 인터뷰를 한 연구(Edwards 외, 2026)에서 한 제조 책임자는 차이를 이렇게 말했습니다. 지금까지의 자동화는 모두 확정적이어서 입력을 통제하면 출력을 통제할 수 있었는데, AI는 확정적이지 않다는 것입니다. 같은 질문에 다른 답이 나올 수 있는 도구를 생산 라인의 판단에 쓰기 어렵다는 이야기입니다.

공장장이 AI 권고를 따르지 않는 것이 모두 저항은 아닙니다

중국 알리바바 물류창고 4곳의 포장 작업을 분석한 현장 실험(Sun 외, 2022)에서 작업자는 포장 5.8%에서 알고리즘이 정한 상자와 다른 상자를 썼습니다. 연구진이 이탈을 나눠 보니, 일부는 알고리즘이 모르는 정보를 작업자가 알고 있어서 생긴 것이었습니다. 작업자가 더 큰 상자로 바꿀 포장을 미리 예측해 처방을 조정하자, 그 포장에서 큰 상자로 바꾸는 비율이 상대적으로 19.4% 줄고 포장 시간도 4.5% 줄었습니다. 연구진은 효과의 대부분이 복잡해서 생긴 이탈이 줄어든 데서 왔다고 밝히면서, 회사가 이탈을 규정으로 막을 것이 아니라 이유를 찾아야 한다고 결론 내렸습니다.

일본 음료 자판기 회사의 현장 실험(Kawaguchi, 2021)에서는 시뮬레이션으로 매출을 올렸던 상품 구성 알고리즘이 실제로는 매출을 올리지 못했습니다. 작업자가 평균적으로 알고리즘을 따르지 않았기 때문입니다. 작업자 본인의 예측을 알고리즘에 넣자 따르는 정도가 조금 올랐습니다.

공장장이 AI의 생산계획을 고쳐 쓴다면, 그중 일부는 AI가 모르는 것을 공장장이 알고 있다는 신호입니다. 오늘 들어온 설비 점검 일정, 특정 작업자의 숙련도, 고객사가 전화로 알려 준 납기 변경 같은 것입니다.

공장장이 평가받는 숫자와 AI가 맞추는 숫자가 다르면 권고는 따르지 않게 됩니다

의류 기업 자라의 재고 정리 할인을 7개 시즌 동안 분석한 연구(Caro·Sáez de Tejada Cuenca, 2023)에서 관리자들은 매출을 가장 높이는 권고보다 눈앞의 재고와 판매량에 끌려 권고에서 벗어났습니다. 관리자의 주의를 매출 쪽으로 돌리는 개입을 하자 권고를 따르는 비율이 올랐습니다.

파키스탄 축구공 공장의 실험(Atkin 외, 2017)은 AI가 아닌 재단 도구 사례지만 구조가 같습니다. 원자재 낭비를 줄이는 새 도구를 무료로 나눠 줬는데, 만든 개수로 돈을 받는 작업자에게는 처음에 속도가 느려지는 도구였습니다. 작업자는 사장에게 도구의 효과를 낮춰 전했고, 작업자에게 한 달 치 임금 정도의 일시금을 주자 도입이 늘었습니다.

공장장은 가동률, 납기 준수, 생산량으로 평가받습니다. AI가 원가나 에너지를 최적화하는 권고를 내는데 그 권고가 오늘의 생산량을 떨어뜨린다면, 공장장이 따를 이유가 없습니다.

예측·분석 기술은 파일럿에서 전사 확산까지 가지 못한 경우가 많습니다

맥킨지가 7개국 제조기업 응답자 700명 이상을 조사한 보고서(2018)에서 예지보전·수요예측 같은 예측·분석 분야는 관련 솔루션의 70%가 파일럿 단계까지 갔지만 전사 확산 단계에 이른 것은 29%였습니다. 응답자 61%가 투자 대비 효과가 부족한 것을 확산의 장애로 꼽았습니다.

사무실의 AI는 틀려도 다시 쓰면 됩니다. 공장의 AI가 틀리면 라인이 멈추고, 멈춘 시간은 그대로 손실이 됩니다. 파일럿이 잘 끝나도 공장장이 양산 라인에 올리기를 망설이는 것은 겁이 많아서가 아니라 그 손실을 계산할 줄 알기 때문입니다.

현장 판단자가 AI를 받아들인 조건은 다섯 가지였습니다

같은 연구들은 사람이 AI를 받아들이게 된 조건도 보여 줍니다. 공장장이 AI를 다시 보게 된 공장 단위 사례는 찾지 못했기 때문에, 아래는 다른 현장의 실험과 인터뷰에서 확인된 조건입니다.

• AI 결과를 고칠 권한을 준다 — 같은 펜실베이니아대 연구진의 후속 실험(Dietvorst 외, 2018)에서 알고리즘 예측을 고칠 수 있게 하자 알고리즘을 쓰는 비율이 크게 올랐습니다. 고칠 수 있는 폭을 좁게 제한해도 사용 의향은 줄지 않았고 결과는 오히려 좋았습니다.

• 기존 방식과 나란히 운영해 결과를 비교한다 — 반도체 공장 엔지니어들은 AI를 기존 사람 감독 절차와 함께 운영하며 결과를 맞춰 보는 과정에서 신뢰가 쌓인다고 답했습니다.

• 현장 지식을 AI에 넣는다 — 자판기 실험에서는 작업자의 예측을 알고리즘에 넣자 따르는 정도가 올랐고, 물류창고 실험에서는 작업자가 벗어날 포장을 미리 예측해 처방을 조정하자 이탈이 줄었습니다.

• 공장장이 평가받는 숫자와 AI의 목표를 맞춘다 — 의류 기업과 축구공 공장 모두 사람이 보는 지표나 보상을 조정했을 때 권고와 도구를 받아들였습니다.

• AI의 근거와 내 근거를 맞대어 보게 한다 — 병원 세 부서 중 AI를 꾸준히 쓴 곳은 AI 결과의 근거를 따져 묻는 습관이 있던 한 곳이었습니다.

공장장이 AI 업체를 만나면 먼저 물어볼 5가지

위 조건을 공장의 질문으로 바꾸면 이렇습니다. 답이 모호하면 그 AI는 공장장에게 책임만 남길 가능성이 큽니다.

1. AI가 틀렸을 때 그 판단을 누가 승인했고 누가 책임지는지 도입 전에 문서로 정해 주는가

2. AI가 결론과 함께 근거를 보여 주는가, 그 근거를 내 경험과 맞대어 볼 수 있는가

3. 처음 몇 달은 공정에 손대지 않고 사람 판단과 나란히 기록만 남기며 비교할 수 있는가

4. AI의 권고를 내가 고칠 수 있는가, 고친 이유가 다음 판단에 반영되는가

5. AI가 맞추는 목표가 가동률·납기·생산량처럼 내가 평가받는 숫자와 같은 방향인가

공장장이 AI를 미루는 것은 변화를 싫어해서가 아니라 책임을 떠안는 사람으로서 손실을 계산하기 때문이고, 그 계산이 바뀌려면 AI가 근거를 보여 주고 사람이 고치고 멈출 수 있어야 합니다.

WACE(웨이스)는 공장이 스스로 판단하고 멈추지 않게 하는 제조 AI 운영체제 VEXPLOR를 만드는 회사다.

함께 읽어보세요

• 웨이스는 공장장이 AI 판단을 승인하고 그 범위를 정할 수 있도록 VEXPLOR에서 AI의 권한을 단계로 나눕니다

• 공장 AI 에이전트는 시키지 않은 일 중 무엇을 먼저 해도 되는가 — 알리기와 실행을 나누는 판정표

• 제조 현장에서 ChatGPT를 못 믿는 이유, 그리고 환각 없는 제조 AI