"AI가 유지보수까지 해 드립니다"라는 업체, 계약 전에 무엇을 확인해야 할까요

소프트웨어를 구축해 주는 업체들이 요즘 비슷한 약속을 합니다. AI가 수정 요청을 자동으로 처리한다, 응답이 몇 분 만에 온다, 사람 없이 돌아간다. 실제로 AI 코딩 기술이 빠르게 좋아져서 이 약속들 중 상당수는 과장이 아닐 수 있습니다.

문제는 발주하는 쪽에서 참과 과장을 가릴 방법입니다. 시연은 준비된 요청으로 하면 누구나 빠르고, "AI 자동"이라는 말은 정의 없이 쓰면 무엇이든 됩니다. 이 글은 AI 유지보수를 내세우는 업체를 검토할 때 계약 전에 물어야 할 5가지를 정리한 것입니다. 저희도 이런 체계를 직접 운영하는 입장이라, 공급자가 답하기 곤란한 질문이 무엇인지 알고 골랐습니다.

첫째, 응답 속도가 아니라 재접수율을 물어보시기 바랍니다

"평균 응답 몇 분"은 이 분야에서 가장 쉽게 만들 수 있는 숫자입니다. 요청이 오면 자동으로 "처리했습니다"라고 답하는 시스템은 응답 속도가 늘 빠릅니다. 문제는 그 응답이 실제로 문제를 해결했는지입니다.

그래서 속도 다음에 반드시 물어야 할 것이 재접수율입니다. 처리 완료 후 일정 기간(예: 14일) 안에 같은 고객이 같은 사안으로 다시 요청한 비율. 이 숫자가 낮아야 "빠른 응답"이 "빠른 해결"이라는 뜻이 됩니다.

• 좋은 신호 — 재접수율을 먼저 제시하거나, 묻자마자 기준(며칠 창, 어떤 기준으로 같은 사안 판정)과 함께 답한다.

• 나쁜 신호 — 속도 수치만 반복하거나, 해결 여부는 "고객이 만족하셨다"는 정성 표현으로만 답한다.

• 함께 물을 것 — 사람이 처리하던 시절의 같은 수치. 비교 기준이 없는 숫자는 판단에 쓸 수 없습니다.

미팅에서 그대로 쓰실 수 있는 문장은 이렇습니다. "응답 속도 말고, 처리 완료 후 14일 안에 같은 문제로 다시 접수된 비율이 얼마인가요? 그 기준은 어떻게 정의하셨나요?" 이 질문 하나로 측정 체계가 있는 업체와 없는 업체가 갈립니다.

둘째, "전부 자동"이라고 답하는 업체를 더 의심하시기 바랍니다

직관과 반대로 들리지만, 이 항목이 5가지 중 가장 중요합니다. 운영 중인 시스템에 코드를 반영하는 일은 잘못되면 업무가 멈추는 일입니다. 그래서 성숙한 자동화일수록 자동인 구간과 사람이 확인하는 구간의 경계가 명확합니다.

"사람 개입 없이 100% 자동"이라는 답은 둘 중 하나입니다. 위험한 구조를 실제로 운영하고 있거나, 뒤에서 사람이 처리하는데 자동이라고 포장하고 있거나. 어느 쪽이든 계약 상대로는 곤란합니다. 개발과 테스트 반영까지는 자동, 운영 반영은 승인 뒤에 같은 답이 나오면, 자동화의 경계를 스스로 알고 있다는 뜻이므로 오히려 신뢰할 수 있습니다.

셋째, 완료를 누가 판정하는지 물어보시기 바랍니다

"처리 완료 1,000건"이라는 실적이 있다면, 그 완료를 누가 정했는지 물어보시기 바랍니다. 시스템이 스스로 "완료"라고 기록한 것과, 고객이 결과를 확인하고 승인한 것은 전혀 다른 숫자입니다.

• 확인할 것 1 — 완료 판정의 주체가 공급자인가, 고객인가.

• 확인할 것 2 — 고객이 확인하지 않고 방치된 건은 어떻게 집계되는가. 완료로 세는지, 미결로 세는지에 따라 실적이 크게 달라집니다.

• 확인할 것 3 — 검수 절차가 계약서에 있는가. 구두 설명만 있는 검수는 분쟁 때 없는 것과 같습니다.

이 질문에 구체적으로 답하지 못하는 업체가 나쁜 업체라는 뜻은 아닙니다. 다만 실적 숫자를 액면 그대로 받아들이면 안 된다는 뜻입니다.

넷째, AI가 못 하는 요청의 경로를 확인하시기 바랍니다

모든 요청을 AI가 처리할 수는 없습니다. 요구가 모호한 건, 시스템 바깥이 원인인 건, 설계 변경이 필요한 큰 건. 중요한 것은 그런 요청이 들어왔을 때 무슨 일이 일어나도록 설계돼 있는가입니다.

• 좋은 구조 — AI가 범위 밖 판정을 스스로 내리고 사람 팀으로 넘기는 경로가 있으며, 실제로 넘어간 사례를 보여 줄 수 있다.

• 위험한 구조 — 모든 요청에 일단 "완료" 응답이 나간다. 처리 못 한 요청이 완료 처리되는 것은 누락보다 나쁩니다. 고객이 해결된 줄 알고 기다리기 때문입니다.

• 함께 볼 것 — 넘어간 뒤의 처리 기한. 에스컬레이션이 블랙홀이면 경로가 없는 것과 같습니다.

물어볼 문장: "AI가 처리 못 한다고 판단한 요청이 지난달에 몇 건이었고, 그 건들은 지금 어떤 상태인가요?" 이 질문에 건수와 상태가 바로 나오면 예외 경로가 실제로 운영되고 있는 것입니다.

다섯째, 수치를 원장에서 재현할 수 있는지 물어보시기 바랍니다

마지막은 위 4가지를 관통하는 질문입니다. 업체가 제시하는 모든 수치에 대해 이렇게 물어보시기 바랍니다. "이 숫자, 요청 기록 원장에서 다시 뽑으면 같은 값이 나옵니까?"

측정이 되는 체계는 요청마다 접수 시각, 응답 시각, 처리 주체, 완료 판정이 기록으로 남고, 언제 다시 집계해도 같은 숫자가 나옵니다. 측정이 안 되는 체계는 좋았던 사례 몇 개가 수치 행세를 합니다.

계약 전에 확인 항목을 다시 모으면 이렇습니다.

여섯째로 가격을 넣지 않은 이유가 있습니다

유지보수 비용은 당연히 중요합니다. 그런데 이 목록에 넣지 않은 이유는, 위 다섯 가지가 확인되기 전의 가격 비교는 의미가 없기 때문입니다. 재접수율을 모르는 상태의 "월 유지보수료"는 실제로는 단가를 비교하는 것이 아니라 희망 사항을 비교하는 것입니다. 해결률이 낮은 싼 유지보수는 현장이 요청을 포기하는 비용으로 되돌아오는데, 그 비용은 청구서에 찍히지 않습니다.

순서를 권해 드리면 — 다섯 가지를 먼저 확인해 후보를 거르고, 남은 후보끼리 가격을 비교하시기 바랍니다.

이 질문들은 시연이 아니라 계약서 단계에서 힘을 냅니다

시연은 준비된 요청으로 하면 누구나 빠릅니다. 그래서 위 다섯 가지는 시연 자리보다 계약 조건을 이야기하는 자리에서 물어야 합니다. 재접수율 기준, 검수 절차, 예외 처리 기한 — 이 셋 중 계약서나 SLA 문서에 적을 수 있는 것이 무엇인지 물어보시기 바랍니다. 말로는 다 된다고 하는 업체도 문서로 적자고 하면 답이 갈립니다. 적을 수 있다는 답이 나오는 항목이 많을수록, 그 업체는 자기 수치를 실제로 재고 있는 것입니다.

다섯 가지에 다 답하는 업체는 드뭅니다, 그래서 이 질문이 유효합니다

솔직히 말씀드리면, 이 5가지에 모두 막힘없이 답할 수 있는 공급자는 지금 시장에 많지 않습니다. 저희도 이 체계를 운영하면서 다섯째 항목의 일부를 아직 보완하고 있습니다. AI 유지보수 자동화 자체가 시장 전체로 보면 초기이기 때문입니다.

그래서 이 체크리스트의 쓸모는 완벽한 업체를 찾는 데 있지 않습니다. 자기 체계의 한계를 아는 업체와, 모르거나 숨기는 업체를 가르는 데 있습니다. 어디까지 자동이고 어디부터 사람인지, 무엇을 재고 있고 무엇은 아직 못 재는지를 스스로 말할 수 있는 공급자라면, 지금 완벽하지 않아도 같이 갈 수 있는 상대입니다.

웨이스가 하는 일이 궁금하시면: wace.me