학벌이 아니라면, 제조 AI 팀의 실력은 무엇으로 판단하는가 — 투자자와 고객이 30분 안에 확인할 5가지

스타트업 팀을 판단하는 자리는 대개 짧습니다. 투자 미팅은 한 시간이고, 고객사 첫 방문은 30분입니다. 그 시간에 팀의 실력을 판단할 근거는 사실상 이력서 한 장이고, 이력서에서 가장 먼저 눈에 들어오는 것은 대학 이름입니다. 제조 AI 운영체제 VEXPLOR를 만드는 웨이스가 고객 공장에서 겪는 것도 같습니다. 공장 담당자도 첫 미팅에서 「어디 나오셨어요」를 먼저 묻습니다. 학벌이 신호로 쓰이는 데는 이유가 있고, 이 글은 그 이유를 부정하지 않습니다.

다만 제조 AI라는 분야에서는 그 신호가 다른 분야보다 덜 통합니다. 이 일에서 어려운 부분이 이론 밖에 있기 때문입니다. 모델과 알고리즘은 논문과 공개 코드로 배울 수 있지만, 공장에서 무엇이 되고 무엇이 안 되는지는 그 업종에서 오래 보낸 시간과 노하우, 도메인 지식에서만 나옵니다. 그래서 이 글은 학벌 대신, 또는 학벌과 함께, 30분 안에 확인할 수 있는 5가지 기준을 적습니다. 투자자가 팀을 볼 때도, 공장이 공급사를 고를 때도, 팀이 자기 자신을 볼 때도 같은 표를 쓸 수 있습니다. 웨이스가 학벌 대신 무엇으로 이 5가지를 채우려 하는지는 따로 적었습니다.

학벌은 「정답이 있는 문제를 정해진 시간에 푸는 능력」의 신호입니다

학벌이 알려 주는 것을 정확히 적으면 이렇습니다. 정답이 정해진 문제를, 정해진 시간 안에, 남보다 많이 맞힌 이력입니다. 이 능력은 실제로 귀합니다. 새로운 지식을 빨리 흡수하고, 문서로 정리된 것을 정확하게 익히고, 긴 시간 한 가지에 집중하는 힘과 겹칩니다. 문서와 논문으로 지식이 축적되는 분야에서는 이 신호가 잘 맞습니다.

공장에서 부딪히는 문제는 형태가 다릅니다.

같은 컨베이어 기동 명령이 어떤 공장에서는 안전하고 어떤 공장에서는 위험합니다. 그 차이는 교과서에 없고 그 공장 제어기 프로그램의 인터록 안에 있습니다. 설비가 어느 시점에 센서 값을 읽는지, 야간에 알람이 울리면 누가 오는지, 이 제품을 이 설비에 넣으면 무엇이 먼저 마모되는지도 마찬가지입니다. 이런 답은 논문이 아니라 그 라인 옆에서 보낸 시간에서 나옵니다. 그래서 제조 AI 팀을 볼 때는 「배울 수 있는 사람인가」 위에 「이미 해 본 사람인가」를 함께 봐야 합니다.

경력과 학벌이 막아 주지 못한 실험이 하나 있습니다

하버드 경영대학원과 BCG가 컨설턴트 758명을 대상으로 한 현장 실험(Dell'Acqua 외, 2023)이 있습니다. AI가 잘 풀지 못하는 유형의 문제에 AI를 붙이자, 정답률이 AI 없이 풀 때의 84.5%에서 60~70%로 떨어졌습니다. 참가자는 전원 세계 최상위 컨설팅 회사의 현직자였습니다. 이력서로 보면 가장 좋은 사람들이 모여 있었는데, 그럴듯하게 틀린 답을 알아채는 데는 그 이력이 도움이 되지 않았습니다.

이 실험이 말해 주는 것은 학벌과 경력이 쓸모없다는 것이 아닙니다. 틀린 답을 알아채는 능력은 이력서에 적히지 않는 별도의 능력이라는 것입니다. 제조 AI 팀을 볼 때 그 능력을 따로 확인해야 하는 이유이고, 아래 5가지 가운데 4번과 5번이 그 자리를 맡습니다.

30분 안에 확인할 수 있는 5가지

아래 5가지는 전부 이력서가 아니라 문서와 현장으로 확인되는 것들입니다. 각 항목에 물어볼 말 한 줄과 통과 신호를 함께 적습니다.

• 1. 가동 시간 — 만든 것이 지금 어느 현장에서 몇 달째 가동 중인가. 시연과 가동은 다른 일입니다. 시연은 준비된 데이터로 한 번 되는 것이고, 가동은 그 공장의 데이터로 매일 되는 것입니다. 물어볼 말은 「지금 가동 중인 현장을 하나 말씀해 주십시오. 언제부터입니까」입니다. 현장 이름과 시작 시점이 바로 나오면 통과이고, 시연 영상으로 답이 대신되면 통과가 아닙니다.

• 2. 두 번째 계약 — 같은 고객이 두 번째 돈을 냈는가. 첫 계약은 영업의 결과이고, 두 번째 계약은 구축의 결과입니다. 첫 구축이 현장에서 쓸 만했는지는 그 고객이 다시 불렀는지가 제일 정확하게 말해 줍니다. 물어볼 말은 「두 번째 사업을 맡긴 고객이 있습니까」입니다. 있으면 그 고객이 누구인지까지 나와야 합니다.

• 3. 숫자의 주인 — 성과 수치에 전후 값·분모·기간이 붙어 있는가. 「25% 올랐습니다」는 판단 근거가 아닙니다. 「시간당 306개에서 383개로, 투입 시간은 같았고, 완료 보고서 기준입니다」가 판단 근거입니다(웨이스가 구축한 한 현장의 값입니다). 물어볼 말은 「그 숫자는 무엇과 무엇을 비교한 값입니까」입니다. 전후 값과 분모가 바로 나오면 통과이고, 「고객이 그렇게 말했습니다」로 끝나면 통과가 아닙니다.

• 4. 재보지 않은 것 — 아직 확인되지 않은 것을 확인되지 않았다고 말하는가. 전부 성공담이면 그 팀은 아직 자기 산출물의 경계를 모르는 것입니다. 물어볼 말은 「아직 확인이 안 된 것은 무엇입니까」입니다. 구체적인 항목이 나오면 통과이고, 「특별히 없습니다」면 통과가 아닙니다. 확인되지 않은 것을 그렇게 말하는 팀이 확신에 찬 숫자만 말하는 팀보다 믿을 수 있습니다.

• 5. 모르는 것을 건너간 기록 — 처음 보는 공장·설비에서 어떻게 답을 확인했는가. 제조 AI 팀이 들어가는 공장은 매번 처음 보는 공장입니다. 전공 밖 문제를 결과까지 끌고 간 사례가 있는지, 그리고 그때 그 답이 맞는지를 무엇으로 확인했는지를 봅니다. 물어볼 말은 「전공 밖 문제를 끝까지 해결한 사례 하나와, 그때 답이 맞는지 무엇으로 확인하셨는지」입니다. 직접 계산했다·로그를 열었다·현장에서 실측했다가 나오면 통과이고, 「AI에게 다시 물어봤다」로 끝나면 통과가 아닙니다.

5가지를 한 장으로 — 채점표

5개를 다 채우지 못해도 됩니다. 순서가 있습니다. 1번과 2번은 지금 되는지를 말해 주고, 3번과 4번은 그 팀이 자기 숫자를 어떻게 다루는지를 말해 주며, 5번은 처음 보는 문제를 만났을 때 어떻게 움직이는지를 말해 줍니다. 앞의 둘이 비어 있는 팀은 아직 제품이 없는 팀이고, 가운데 둘이 비어 있는 팀은 제품은 있어도 그 숫자를 믿기 어려운 팀이며, 마지막이 비어 있는 팀은 다음 공장에서 막힐 가능성이 큰 팀입니다.

30분을 이렇게 나눕니다

5가지를 한 자리에서 다 물으려면 순서가 필요합니다. 앞의 것이 비어 있으면 뒤를 물을 이유가 없어지므로, 지금 되는지부터 묻고 처음 보는 문제를 어떻게 다루는지로 끝냅니다.

10분에서 20분 사이에 시간을 가장 많이 두는 이유가 있습니다. 숫자가 나오는 방식을 물으면 그 팀이 자기 결과를 어떻게 다루는지가 가장 잘 드러나기 때문입니다. 전후 값이 바로 나오는 팀은 4번과 5번도 대개 통과하고, 「고객이 그렇게 말했습니다」에서 멈추는 팀은 뒤의 둘도 비어 있는 경우가 많습니다.

이 5가지는 학벌을 대신하지 않고, 학벌도 이 5가지를 대신하지 않습니다

학벌이 좋은 팀에도 같은 5가지를 물어야 합니다. 학벌은 「배울 수 있는 사람」의 신호이고, 위의 5가지는 「이미 해 본 사람」의 신호라서 서로 다른 것을 알려 줍니다. 둘 다 있으면 좋습니다. 하나만 있다면 제조 AI에서는 뒤의 것이 먼저입니다. 이 분야에서 돈과 시간이 새는 지점은 모델의 정확도가 아니라, 시연은 됐는데 현장에서 안 되는 것이었기 때문입니다.

반대로 학벌이 없는 팀이 이 5가지로 자신을 증명하려면 조건이 있습니다. 5가지 전부 말이 아니라 문서로 남아야 합니다. 완료 보고서, 계약서, 측정 기록, 미확인 항목 목록, 문제를 건너간 과정의 기록입니다. 이력서에 대학 이름이 없는 팀은 그 빈자리를 이 문서들로 채워야 하고, 그것은 이력서를 꾸미는 것보다 훨씬 오래 걸리는 일입니다. 다만 한 번 쌓이면 어떤 이력서보다 오래 갑니다.

이 표를 어디에 쓰는가

• 투자자 — 팀 슬라이드 다음에 이 5가지를 묻습니다. 학벌이 있는 팀에는 「그래서 지금 어디에서 가동 중입니까」가, 학벌이 없는 팀에는 「그 숫자는 무엇과 무엇을 비교한 값입니까」가 특히 필요한 질문입니다.

• 공장 — 공급사를 고를 때 제안서 두께 대신 이 5가지를 봅니다. 특히 2번과 4번입니다. 재의뢰 고객이 있는지, 안 되는 것을 안 된다고 말하는지가 구축 뒤 1년을 결정합니다.

• 팀 자신 — 자기 팀을 이 표로 채점해 봅니다. 빈 칸이 어디인지가 다음 분기에 할 일입니다.

이 표에 대학 이름이 들어갈 자리는 없습니다. 학벌은 그 사람이 배울 수 있는 사람인지를 말해 주고, 이 5가지는 그 팀이 이미 해 본 팀인지를 말해 줍니다. 제조 AI에서 먼저 확인할 것은 뒤의 것입니다.

WACE(웨이스)는 공장이 스스로 판단하고 멈추지 않게 하는 제조 AI 운영체제 VEXPLOR를 만드는 회사다.