사내 AI 업무 시스템이 사칭 발주서를 잡았습니다하루 늦게
지난 9월 8일 아침, 대표가 시스템에 메일 한 통을 확인해 달라고 했습니다. 전날 9,700만원짜리 공공기관 과업지시서를 보낸 그 담당자가, 이번에는 열화상 카메라 5대를 6,490만원에 사 달라는 발주서를 보냈습니다.
제조 AI 운영체제 VEXPLOR를 만들고 있습니다. 스마트공장 구축 현장에서 데이터 표준화·온톨로지·디지털트윈·자율형공장을 다루며, 이 블로그에는 현장에서 실제로 부딪힌 문제와 그때 내린 판단을 씁니다.
지난 9월 8일 아침, 대표가 시스템에 메일 한 통을 확인해 달라고 했습니다. 전날 9,700만원짜리 공공기관 과업지시서를 보낸 그 담당자가, 이번에는 열화상 카메라 5대를 6,490만원에 사 달라는 발주서를 보냈습니다.
글에 넣을 이미지 세 장을 만들었는데, 다 내놓고 보니 셋이 한 형제처럼 생겼습니다. 스타일을 그렇게 고른 적이 없습니다. 오히려 "한 글 안에서 계열을 섞는다"는 규칙을 두고 있었습니다.
이틀 동안 브라우저 자동화가 세 번 멈췄습니다. 셋 다 코드가 틀려서가 아니었고, 셋 다 브라우저 안이 아니라 밖에서 막혔습니다. 막힌 자리를 정리해 두면 다음에 같은 곳에서 시간을 안 들입니다. 그리고 셋을 나란히 놓으니 처리 방법이 세 가지뿐이라는 것도 보였습니다.
공장에서 설비 한 대의 성능을 올리는 일은 대개 그 설비 안에서 끝납니다. 프레스를 빠르게 하면 프레스가 빨라집니다. 옆 설비에 물어볼 것이 없습니다. 운반은 그렇지 않습니다. AMR 한 대를 빠르게 해도 라인은 그만큼 빨라지지 않습니다.
저희가 만드는 공장 시뮬레이터를 462초 돌렸습니다. 생산 지시가 26번 나갔고, 10개가 라인에 들어갔고, 4개는 로봇이 집어 AMR에 싣고 건너편 로봇이 내려놓는 데까지 갔습니다. 접촉을 9,243번 재는 동안 AMR이 벽이나 다른 AMR에 닿은 횟수는 0이었습니다.
저희 기술블로그의 태그를 전부 세어 봤습니다. 글 106편에 태그가 226개였고, 그중 163개(72%)가 글 한 편에만 붙어 있었습니다. 태그 하나에 글 한 편. 독자가 그 태그를 누르면 글 한 편이 나옵니다. 방금 읽고 있던 그 글입니다.
검사를 돌렸는데 결과가 0건으로 나왔습니다. 이때 우리는 보통 안심합니다. 걸린 게 없다는 뜻이니까요. 그런데 0은 두 가지를 동시에 뜻합니다. 정말 없거나, 검사가 고장 났거나. 이 둘은 화면에서 똑같이 생겼습니다. 오류 메시지도, 빨간 글자도, 종료 코드 1도 없습니다. 그냥 조용히 0입니다.
요즘 고객사 자리에서 거의 같은 말을 듣습니다. "업무용 AI 데모는 많이 봤습니다." 그리고 그다음에 꼭 한마디가 붙습니다. "그런데 실제로 업무에 쓰고 있는 데는 아직 못 봤어요."
사내에서 쓰려고 만든 도구가 잘 돌아가면 자연스럽게 이런 말이 나옵니다. "이거 그냥 팔면 되는 거 아닌가요." 저희도 같은 질문을 받았습니다. 전문가 일곱 관점으로 나눠 진단했더니 결론은 한 곳으로 모였습니다 — 그대로는 못 판다. 기능이 모자라서가 아닙니다.
저희는 회의 녹음과 문서에서 시스템 요구사항을 자동으로 채우는 기능을 만들고 있습니다. 담당자와 두세 시간 이야기한 녹음을 넣으면 표준 질문 트리가 채워지고, 그 결과가 진단서와 견적의 입력이 됩니다.
AI에게 일을 시키려면 규칙을 적어 줘야 합니다. 무엇을 먼저 확인하고, 무엇을 하면 안 되고, 어디서 멈춰 사람에게 물어야 하는지를 문서로 만들어 매번 읽힙니다. 문제는 그 문서가 한 방향으로만 자란다는 것입니다.
진단을 마치면 저희는 고객에게 "이 공정은 몇 단계입니다"라고 말씀드립니다. 그 말을 듣는 쪽에서 물어야 할 것이 하나 있습니다. 그 숫자는 무엇을 보고 매긴 것인가.