기업은 AI를 설비처럼 평가해야 합니다 — 질문 수가 아니라 끝낸 일의 기록으로

AI를 하루에 몇 시간씩 업무에 쓰기 시작하면 AI를 보는 눈이 달라집니다. AI를 질문에 답하는 도구가 아니라 일을 맡기는 생산 설비처럼 여기게 됩니다. 이 시각에서 보면 AI가 쉬는 시간은 설비가 멈춘 시간처럼 아깝고, AI에 쓰는 돈은 비용이 아니라 설비 투자처럼 읽힙니다.

제조 AI 운영체제 VEXPLOR를 만드는 웨이스는 이 시각을 공장의 눈으로 읽습니다. 공장은 오래전부터 설비를 그렇게 평가해 왔습니다. 설비는 전원을 켜 둔 시간이 아니라 실제로 만든 양품으로 평가받습니다. 이 글에서는 그 계산법을 기업의 AI에 옮겨, 무엇을 기록해야 AI를 설비처럼 평가할 수 있는지 적습니다.

공장은 설비를 켜 둔 시간이 아니라 만든 양품으로 평가합니다

공장에서 설비를 평가하는 대표 지표는 설비종합효율(OEE)입니다. 세 비율을 곱해 구합니다. 계획한 시간 가운데 설비가 실제로 움직인 비율(시간가동률), 움직이는 동안 기준 속도를 낸 비율(성능가동률), 만든 것 가운데 합격한 비율(양품률)입니다. 어느 비율이든 낮으면 전체가 내려갑니다. 설비를 하루 종일 켜 두었어도 불량만 만들었다면 그 설비는 일하지 않은 것입니다.

이 계산법이 오래 쓰인 이유는 설비가 한 일이 기록으로 남기 때문입니다. 생산 실적과 검사 결과는 로트 번호로, 정지 기록은 설비와 시간으로 남아서, 어느 설비가 언제 무엇을 몇 개 만들었고 그중 몇 개가 합격했는지 나중에 따라갈 수 있습니다.

표의 오른쪽 열이 지금 많은 기업이 AI를 보는 방식입니다. 설비와 견주면 무엇이 빠졌는지 드러납니다. 일의 단위가 없고, 결과를 찾을 번호가 없고, 멈춘 이유가 남지 않습니다.

기업이 질문 수로 AI를 보면 전원 켠 시간만 보는 것과 같습니다

계정 수와 질문 수는 모으기 쉬운 숫자입니다. 관리 화면에 이미 나와 있고, 매달 늘어나는 모습도 보기 좋습니다. 하지만 설비에 견주면 이 숫자는 전원을 켜 둔 시간에 가깝습니다. 질문이 많다는 것은 AI가 자주 움직였다는 뜻이지, 일이 끝났다는 뜻이 아닙니다.

AI를 평가하는 기준도 같은 쪽으로 옮겨 가야 합니다. 어떤 AI가 더 똑똑하고 더 싼지를 견주는 단계를 지나면, AI가 실제로 무엇을 끝냈는지가 기준이 됩니다. 프로그램 하나를 완성할 때 중요한 것도 토큰을 몇 개 썼는지가 아니라 그 프로그램이 실제로 얼마나 쓸모 있는지입니다.

다만 AI가 쉬는 시간이 아깝다는 감각에는 공장이 먼저 겪은 함정이 있습니다. 가동률만 목표로 정한 공장은 주문이 없는 물건까지 만들어 창고를 채웁니다. 설비는 쉬지 않았지만 회사의 돈은 재고로 묶입니다. 그래서 공장은 가동률을 볼 때 그 시간에 무엇을 만들었는지를 함께 봅니다.

AI도 같습니다. 사용량을 목표로 정하면 직원들은 AI에게 더 자주 묻습니다. 회의 메모를 다시 요약시키고, 이미 끝난 메일을 한 번 더 다듬게 합니다. 질문 수는 오르지만 끝난 일은 늘지 않습니다. AI를 쉬지 않게 하는 것보다 AI가 맡을 일을 먼저 정하는 쪽이 순서에 맞습니다.

기업에서 경제적 가치를 바로 숫자로 적기는 어렵습니다. 그 전에 갖출 것이 있습니다. AI가 맡은 일이 끝났는지, 끝났다면 사람이 그 결과를 받아들였는지를 한 건씩 확인할 수 있어야 합니다. 이 기록이 없으면 가치는 추정으로만 남습니다.

AI가 맡은 일은 대화가 아니라 번호가 붙은 건으로 남아야 합니다

설비 평가의 출발점이 로트 번호라면, AI 평가의 출발점은 건 번호입니다. 「구매 요청 한 건」, 「고객 사양 변경 한 건」처럼 시작과 끝이 있는 일에 번호를 붙이고, AI가 그 건에서 무엇을 읽고 무엇을 채웠는지, 누가 승인했는지를 그 번호 아래에 남깁니다.

웨이스는 VEXPLOR WORK를 이 방식으로 만들었습니다. 관리 부서의 일을 「구매 요청 → 입고 → 대금 지급」 같은 흐름으로 정의하고, 한 건 한 건이 번호를 달고 단계를 지나가게 합니다. 공장에서 로트를 추적하듯 사무실에서 일어난 일과 그 결과를 추적하려는 것입니다. 번호 하나를 열면 그 건의 문서와 판단, 메일이 함께 나옵니다.

건으로 남으면 묻는 내용이 달라집니다.

• 사용량을 묻는 질문 — 이번 달 AI를 몇 번 썼나

• 결과를 묻는 질문 — 이번 달 AI가 맡은 구매 건 가운데 몇 건이 지급까지 끝났나

앞의 질문에는 관리 화면이 답하고, 뒤의 질문에는 건의 기록만 답할 수 있습니다. 기업은 설비를 평가할 때 생산 실적을 보듯, AI를 평가할 때도 끝낸 건을 봐야 합니다.

양품만 생산 실적으로 인정하듯, 기업은 검사를 통과한 AI 결과물만 끝낸 일로 봐야 합니다

설비가 만든 물건은 검사를 통과해야 양품이 됩니다. AI가 만든 문서도 같습니다. 초안이 빨리 나와도 수치가 틀리거나 빈칸이 남아 있으면 사람이 다시 손을 봐야 하고, 그 시간까지 더하면 AI가 줄인 시간은 생각보다 적습니다.

웨이스는 사내 업무 13가지를 흐름으로 정의했습니다. 흐름마다 AI가 초안과 검사를 맡고, 사람이 확인해 내보냅니다. 블로그 발행, 제안서, 메일 발송, 회의록, 특허 출원 준비 같은 일입니다. 이 결과물은 밖으로 나가기 전에 기계 검사를 거칩니다.

• 회사 수치 대조 — 인원·매출·특허 같은 수치는 기준 자료 한 곳에서만 읽고, 문서의 값이 다르면 멈춥니다.

• 금지 표현과 빈칸 — 회사가 정한 금지 표현, 「작성 예정」 같은 빈칸, 근거 없는 과장을 산출물마다 검사합니다.

• 형식 규칙 — 발표 자료의 글꼴과 바닥글, 메일 첨부의 파일 형식을 파일 단위로 확인합니다.

검사에 걸린 결과물은 나가지 않습니다. 그래서 「AI가 쓴 문서 몇 건」이 아니라 「검사를 통과해 나간 문서 몇 건」을 따로 볼 수 있습니다. 설비의 양품률에 해당하는 숫자입니다. 검사를 거치지 않은 결과물을 끝낸 일로 기록하면, 불량까지 생산 실적에 넣는 것과 같습니다.

사람이 정할 값은 AI가 비워 두어야 결과의 책임이 분명해집니다

설비에도 사람이 판단하는 단계가 있습니다. 안전 인터록은 설비가 스스로 넘지 못하게 막아 둔 장치이고, 초품 검사는 사람이 합격을 정합니다. 설비가 아무리 빨라도 이 단계를 건너뛰지 않습니다.

기업의 AI도 같습니다. 업체 선정, 합격 판정, 지급 승인처럼 결과에 책임이 따르는 값은 AI가 채우지 않고 근거만 모아 둔 채 사람에게 넘기는 편이 낫습니다. VEXPLOR WORK는 이런 값을 「내가 승인할 것」 목록에 모으고, 견적서나 검사 성적서 같은 근거 문서를 그 줄에 붙여 둡니다. 사람이 승인하면 그 건이 다음 단계로 넘어갑니다.

이렇게 나누면 평가도 분명해집니다. AI가 끝낸 일과 사람이 정한 일이 한 건 안에서 따로 기록되므로, 결과가 좋지 않을 때 어디서 틀렸는지 따라갈 수 있습니다. 승인을 기다린 날도 함께 남아서, AI는 빨라졌는데 흐름 전체는 그대로인 이유가 승인 대기에 있는지도 보입니다.

기업은 AI를 설비처럼 평가하려면 4가지 숫자를 봐야 합니다

설비종합효율의 세 비율과 정지 기록이 묻는 질문을 기업의 AI에 옮기면 아래 4가지가 됩니다. 계산식을 그대로 옮긴 것이 아니라, 각 지표가 묻는 질문을 빌린 것입니다. 어느 것도 질문 수로는 알 수 없고, 건의 기록이 있어야 나옵니다.

• 끝낸 건 수를 먼저 봅니다. 질문 수가 늘어도 끝낸 건이 그대로면 AI는 켜져 있을 뿐입니다.

• 건당 걸린 날은 도입 전과 견줍니다. 도입 전 기준선이 없으면 빨라졌다는 말을 확인할 수 없습니다.

• 검사 통과 비율을 같이 봅니다. 빨리 끝냈는데 되돌아온 건이 많으면 실제로는 늦어진 것입니다.

• 승인 대기는 따로 적습니다. AI가 빨라져도 사람의 승인이 쌓이면 흐름 전체는 빨라지지 않습니다.

이 4가지는 도입 첫 달에 숫자가 작아도 괜찮습니다. 설비도 처음 들어온 달의 가동률로 판정하지 않습니다. 첫 달부터 같은 방식으로 기록해, 석 달 뒤 같은 숫자를 다시 볼 수 있게 해 두는 것이 중요합니다.

AI가 문서를 빨리 만들어도 그 문서가 검사를 통과하고 사람의 승인을 받아야 일이 끝납니다. AI를 생산 설비처럼 본다면, 설비처럼 기록하고 설비처럼 평가해야 합니다.

기업이 AI에 쓰는 돈이 커질수록, AI가 끝낸 일을 한 건씩 보여 줄 기록이 먼저 있어야 합니다. WACE(웨이스)는 공장이 스스로 판단하고 멈추지 않게 하는 제조 AI 운영체제 VEXPLOR를 만드는 회사다.

함께 읽어보세요

• 사람들은 자동차를 탄 뒤 마차로 돌아가지 않았습니다 — AI 시대에 사람을 나누는 것은 AI를 쓰는 능력입니다

• AI를 이미 운영하는 기업은 왜 절반이 투자 효과가 불명확하다고 꼽았나 — Foundry 국내 112곳 조사

• 웨이스가 업무 AI를 부서가 아니라 업무 흐름 단위로 만들려는 이유