채용 기준에 빠져 있던 것을 찾았습니다

저희는 현장배치 엔지니어를 뽑고 있습니다. 공장에 직접 들어가 데이터를 진단하고, 시스템을 그 현장에 맞춰 구축하고, 실제로 돌아갈 때까지 붙어 있는 자리입니다.

기준은 일곱 개였습니다. AI 사용, 개발능력, 제조 현장 경험, 고객 대면, 실무자 여부, 인성, 그리고 몇 가지 조건. 후보를 열한 명 정독하고 표를 만들어 등급을 매겼습니다. 나쁘지 않은 표였습니다.

그런데 최근 AI를 쥔 전문가들이 어디서 무너지는지를 다룬 연구 몇 편을 원문까지 대조해 읽고 나서, 저 표가 재지 않는 것이 하나 있다는 걸 알았습니다.

전문성이 방패가 아니었습니다

하버드 경영대학원과 보스턴컨설팅그룹이 컨설턴트 758명을 대상으로 사전 등록 실험을 했습니다. AI가 잘 푸는 문제에서는 결과가 좋았습니다. 과제를 12.2% 더 많이, 25.1% 더 빨리 끝냈습니다.

문제는 반대쪽이었습니다. 연구진은 AI가 잘 풀지 못하도록 설계한 과제를 하나 준비했습니다. 정량 데이터만 보면 그럴듯한 오답에 도달하고, 현장 인터뷰 노트를 함께 읽어야 정답이 나오는 문제였습니다.

결과는 이렇습니다.

여기서 저희가 처음에 오해했던 것을 적어 둡니다. 이 실험을 "전문성 밖의 일에 AI를 쓰면 위험하다"로 읽기 쉬운데, 원문은 그렇게 쓰여 있지 않습니다. 연구진이 밝힌 설계 의도는 "컨설턴트는 잘하지만 AI는 어려워하도록" 만든 과제였습니다. 즉 이 경계는 AI의 능력 경계이지 사람의 전문성 경계가 아닙니다.

참가자는 전원 현직 컨설턴트였고, 과제는 그 회사가 입사 면접에 쓰는 유형이었습니다. 그들의 전문 영역 안이었습니다. 실제로 AI 없이는 84.5%를 맞혔습니다. 전문성은 실재했습니다. 그런데 AI를 쥐여주자 떨어졌습니다.

경력을 아무리 높여도 이건 막히지 않는다는 뜻입니다.

검증하려던 사람들이 당했습니다

같은 연구팀이 그 실험 참가자 중 70여 명의 대화 기록을 따로 분석했습니다. 결과가 더 아팠습니다.

사람이 사실을 확인하고 반박할수록, 모델이 물러나는 대신 설득의 강도를 높였습니다. 사과하고 수정하는 모양을 갖추면서 더 그럴듯한 근거를 붙여 원래 주장을 되풀이했습니다.

연구진의 결론은 "사람이 더 꼼꼼히 보면 된다"가 아니었습니다. 사람이 하던 방식의 반대신문이 이 상대에게는 맞지 않는 도구이며, 별도의 감독 장치를 설계해야 한다는 것이었습니다.

정리하면 이렇습니다. 그 실험에서 사람들은 전문가였고, 자기 전문 영역이었고, 실제로 검증을 시도했습니다. 그런데도 떨어졌습니다.

자기가 얼마나 빨라졌는지도 모릅니다

하나 더 있습니다. 한 비영리 연구기관이 자기 프로젝트를 평균 5년 다뤄 온 숙련 개발자 16명에게 실제 업무 246건을 맡기고, 과제마다 무작위로 AI 사용을 허용하거나 금지했습니다.

시작 전 개발자들은 AI를 쓰면 24% 빨라질 거라고 예측했습니다. 끝난 뒤에는 20% 빨라진 것 같다고 답했습니다. 실제 측정값은 19% 느려짐이었습니다.

숫자 자체보다 간극이 요점입니다. 체감과 실제 사이가 39%p 벌어져 있었습니다. 다만 이 수치를 현재형으로 옮기면 안 됩니다. 2025년 초 도구로 측정한 값이고, 연구기관 스스로 2026년 2월에 "지금은 더 빨라졌을 가능성이 높다"고 밝혔습니다. 시점이 지나도 남는 결과는 속도가 아니라 이것입니다. 자기 성과에 대한 감각은 이만큼 틀릴 수 있습니다.

그러면 지원자가 이력서에 적어 온 "업무 시간 40% 단축"은 무엇을 증명할까요. 저 실험의 개발자들도 똑같이 확신했습니다.

그래서 네 가지를 더했습니다

기존 일곱 기준은 **"이 사람이 무엇을 할 수 있는가"**를 재고 있었습니다. 위 연구들이 실제로 가른 것은 **"이 사람이 틀렸을 때 알아채는가"**였습니다. 그 자리가 비어 있었습니다.

• 재본 사람 — 성과를 말할 때 어떻게 쟀는지 함께 말하는 분. 수치를 못 대도 측정 방법을 아는 분이, 수치를 대는데 측정 방법이 없는 분보다 위입니다.

• 대조하는 사람 — AI 답을 다른 수단으로 확인해 보는 분. 되물어 확인하는 것은 검증이 아닙니다.

• 선을 긋는 사람 — 어디를 넘기고 어디를 직접 쥘지 정하는 분. 전부 넘기는 사람과 하나도 안 넘기는 사람이 똑같이 위험합니다.

• 남이 쓰게 만든 사람 — 만든 것을 자기 말고 다른 사람이 쓰게 만들어 본 분. 시연이 되는 것과 현장이 매일 사용하는 것은 다릅니다.

기존 기준을 버리지는 않았습니다. 개발능력도 현장 경험도 고객 대면도 그대로 필요합니다. 다만 그것만으로는 충분하지 않다는 것이 확인된 바이고, 위 넷을 그 위에 얹었습니다.

흥미로운 것은, 기존 기준 중 "인성" 항목의 관찰 목록에 이미 검증 습관·실패 공개·과장 정도가 들어 있었다는 점입니다. 보고는 있었는데 판정 기준으로 올려 두지 않았습니다.

경력을 대체하는 항목이 아니라, 경력 위에 얹는 항목입니다.

"AI 잘 쓰는 사람"을 문턱으로 두면 손해입니다

같은 하버드-BCG 실험에 저희가 놓치고 있던 숫자가 하나 더 있었습니다. AI가 잘 푸는 문제 쪽 결과를 성과 수준별로 갈라 보면 이렇습니다.

AI 도구 사용은 가장 빨리 붙고, 붙으면 격차를 좁히는 능력입니다. 흔히 말하는 "AI가 잘하는 사람과 못하는 사람의 격차를 벌린다"와 반대 방향입니다. 적어도 AI가 잘 푸는 영역 안에서는 그랬습니다.

이게 채용에서 뜻하는 바는 분명합니다. 가장 빨리 붙는 능력을 채용 문턱으로 세우면, 잘 안 붙는 능력을 가진 사람을 놓칩니다.

저희 기준표에서 "AI 사용"은 통과 못 하면 탈락하는 항목이었습니다. 그런데 후보를 놓고 보면 이런 대비가 자주 나옵니다. 한쪽은 AI 활용 실적이 뚜렷한데 시스템을 끝까지 책임진 이력이 얇습니다. 다른 쪽은 현장 구축 경력이 두꺼운데 AI 활용 산출물이 안 보입니다.

저희 판단은 후자가 이 자리에 더 가깝다입니다. 도구 사용은 몇 주면 붙지만, 코드를 끝까지 책임지는 능력과 고객 앞에 서는 경험은 그렇지 않기 때문입니다. 그리고 위 숫자가 그 판단을 뒷받침합니다.

이건 "AI를 안 써도 된다"는 말이 아닙니다. 붙는 데 걸리는 시간이 다른 능력들을 같은 문턱에 세우지 말자는 말입니다. 빨리 붙는 것은 입사 후에 붙이면 되고, 느리게 붙는 것은 뽑을 때 봐야 합니다.

질문을 바꾸지 않으면 기준을 바꾼 게 아닙니다

기준을 넷 더한 것만으로는 아무것도 달라지지 않습니다. 재는 방법이 그대로면 재는 것도 그대로입니다.

가장 크게 바꾼 것은 "AI 사용"의 판정 방법입니다. 종전에는 자동화 실적과 단축 수치를 봤습니다. 그런데 앞서 본 대로 자기보고 단축 수치는 증거가 아닙니다. 그래서 수치가 나오면 반드시 하나를 더 묻기로 했습니다.

"그 수치는 무엇과 무엇을 비교한 값입니까? 자동화 전 소요 시간은 어떻게 알고 계셨습니까?"

측정 방법을 답하면 통과입니다. "체감상"이라고 구분해 말해도 나쁘지 않습니다. 수치는 확신하는데 근거가 없으면 그 수치는 정보가 아닙니다.

채용 페이지에 그대로 적었습니다

이 넷을 채용 페이지에 공개했습니다. 한국어·영어·일본어 세 언어 모두입니다.

공개하면서 잃는 것이 있습니다. 면접 질문의 정답을 미리 알려주게 됩니다. 저희 내부 설계는 "AI 답이 틀린 걸 어떻게 알았나"라는 질문에 "다시 물어봤다"고 답하면 감점하되 그 이유는 알려주지 않는 것이었습니다. 페이지에 원칙을 적으면 그 답은 학습됩니다.

그래도 적기로 한 이유는 둘입니다. 첫째, 우리가 무엇을 보는지 모르고 지원하는 것보다 알고 오는 편이 서로에게 낫습니다. 둘째, 대신 질문 방식을 바꿨습니다. 선호를 묻지 않고 실제로 있었던 일 한 건을 묻습니다. 겪은 일은 지어내기 어렵고, "어떻게 알았습니까"를 두 번 더 물으면 드러납니다.

마지막으로, 이건 검증된 채용 기준이 아닙니다

인용한 연구 중 채용 타당도를 검증한 것은 하나도 없습니다. 전부 "AI를 쥔 사람이 어떻게 실패하는가"를 본 실험이지, "이런 사람을 뽑으면 성과가 좋다"를 본 연구가 아닙니다.

저희 인재상은 그 실패 모드에서 역산한 것입니다. 그러니 "연구가 증명한 인재상"이 아니라 **"우리가 이렇게 읽고 이렇게 정했다"**가 정확한 표현입니다. 이 구분을 지우면 저희가 방금 경계한 바로 그 오류를 저지르는 셈이 됩니다.

틀렸다면 채용 결과가 알려 줄 것입니다. 그때 다시 적겠습니다.