고장은 새벽 3시에 옵니다: 탐지기 다섯 개로 설비를 지키는 법

새벽 3시에 알람이 울립니다. 야간 당직자가 부스스 일어나 설비실로 뛰어갑니다. 가 보니 멀쩡합니다. 진동값이 잠깐 임계치를 살짝 넘었다가 바로 내려간 거예요. 거짓 경보였던 거죠. 이런 일이 한 주에 서너 번 반복되면 어떻게 될까요. 사람은 알람을 점점 안 믿게 됩니다. "또 그거겠지" 하고 끄고 다시 잡니다. 그러다 진짜 고장이 그 알람에 섞여 들어오면, 그땐 라인이 섭니다.

설비 모니터링에서 가장 흔하고 가장 단순한 방식이 바로 이겁니다. "값이 임계치를 넘으면 알람." 직관적이고 만들기도 쉬워요. 그런데 현장에 깔아 보면 이 방식이 거짓 경보와 놓침을 동시에 냅니다. 정상 변동에도 울려서 당직자를 깨우고, 정작 임계치 아래에서 며칠에 걸쳐 서서히 망가지는 고장은 깔끔하게 놓칩니다. 가장 무서운 고장이 보통 그렇게 옵니다. 단번에 튀지 않고 천천히 기어 옵니다.

오늘은 그 얘기를 좀 해보려고 합니다. 왜 임계값 하나로는 안 되는지, 그리고 저희가 탐지기를 다섯 개나 겹쳐서 어떻게 풀었는지요. 좀 길어질 텐데, 끝까지 보시면 "아 그래서 새벽에 헛걸음을 안 하게 되는구나" 정도는 가져가실 수 있을 겁니다.

이상은 한 종류가 아닙니다

임계값 하나가 통하지 않는 진짜 이유는, 사실 "이상"이라는 게 한 얼굴이 아니기 때문입니다. 현장에서 마주치는 이상을 며칠만 모아 보면 종류가 제각각이에요.

어떤 건 갑자기 튑니다. 멀쩡하던 값이 한순간 확 솟구치죠. 또 어떤 건 천천히 흘러갑니다. 어제보다 아주 조금, 그제보다 또 조금. 하루치만 보면 도저히 눈치를 못 채는데 일주일을 모아 보면 분명히 한쪽으로 기울어 있어요. 그리고 또 다른 종류가 있습니다. 값 자체는 정상 범위인데 "옆 설비들은 다 이런데 이 설비만 혼자 다르게" 움직이는 경우요. 숫자만 보면 멀쩡한데 무리에서 혼자 튀는 겁니다.

이렇게 생김새가 다른 이상들을 임계값 하나로 다 잡으려는 건, 자 하나로 길이도 재고 무게도 재고 온도도 재겠다는 것과 비슷합니다. 안 됩니다. 그래서 저희가 내린 결론은 단순했어요. 이상이 여러 종류면, 탐지기도 여러 개를 두자.

탐지기를 다섯 개 겹친 이유

VEXPLOR는 5종의 이상탐지 기법을 함께 사용합니다. 기법 하나하나는 저희가 발명한 게 아니라 이 바닥에서 오래 써 온 공개된 방법들이에요. 중요한 건 어떤 걸 쓰느냐보다, 서로 다른 성격의 다섯을 어떻게 겹쳐서 사각지대를 메우느냐입니다. 하나씩 소개할게요.

먼저 Isolation Forest. 이름처럼 데이터를 무작위로 자르고 또 자르면서 "고립"시키는 방식인데요, 이상치는 정상값보다 훨씬 적은 횟수만에 똑 떨어져 나옵니다. 외딴섬 같은 점일수록 빨리 격리되는 거죠. 변수가 여러 개 얽힌 구조적인 이상에 강합니다.

다음은 Z-Score. 평균에서 표준편차 기준으로 얼마나 벗어났는지를 봅니다. 학창 시절 "평균에서 몇 시그마 떨어졌다"는 그 얘기예요. 분포가 비교적 안정적일 때, 전체 기준으로 확 벗어난 값을 잡는 데 효과적입니다.

IQR도 결이 비슷한데 접근이 좀 다릅니다. 사분위 범위를 써서 분포가 정규분포인지 아닌지 따지지 않고도 극단값을 견고하게 걸러냅니다. 데이터가 좀 지저분해도 흔들리지 않는다는 게 장점이죠.

여기까지가 "전체 기준으로 튀는 값"을 잡는 친구들이라면, LOF는 성격이 완전히 다릅니다. 아까 얘기한 "옆 설비는 다 정상인데 혼자만 이상한" 그 국소적인 이상을 잡는 담당이에요. 주변 이웃들에 비해 유독 밀도가 낮은, 그러니까 혼자 외따로 떨어져 있는 점을 찾아냅니다. 전체로는 정상이라 다른 탐지기가 다 놓치는 걸 이 친구가 건집니다.

마지막이 EWMA, 지수가중이동평균입니다. 앞서 "천천히 기어 오는 고장" 기억하시죠. 그걸 잡는 게 이 친구입니다. 최근 값에 더 무게를 주면서 작은 변화가 차곡차곡 쌓이는 흐름을 민감하게 따라가요. 하루치로는 안 보이던 드리프트를 누적으로 포착합니다.

이렇게 다섯을 겹쳐 놓으면, 한 탐지기가 못 보는 자리를 옆 탐지기가 봅니다. 그리고 여기서 진짜 이득이 하나 더 생겨요. 여러 탐지기가 입을 모아 같은 지점을 가리키면, 그건 거짓 경보일 가능성이 확 낮아진다는 겁니다. 혼자 떠드는 알람은 의심스럽지만, 다섯 중 넷이 동시에 손을 들면 한 번쯤 가 볼 만하잖아요. 새벽에 헛걸음하는 횟수를 줄여 주는 게 정확히 이 합의 구조입니다.

천천히 망가지는 베어링을 따라가 보면

말로만 하면 추상적이니, 한 장면을 실제로 따라가 볼게요. 어느 설비의 베어링이 마모되기 시작했다고 칩시다. 처음엔 진동값이 정상 범위 안에서 아주 조금씩 올라갑니다. 하루에 0.1씩, 거의 티가 안 나게요.

단일 임계값 알람은 이 구간을 통째로 지나칩니다. 값이 여전히 임계치 아래니까 입을 다물고 있어요. Z-Score도, IQR도 비슷합니다. 지금 이 순간만 보면 그저 정상 범위 안의 평범한 값이거든요. 다섯 중 셋이 침묵하는 거죠.

그런데 EWMA는 다릅니다. 어제보다 오늘 미세하게 높고, 오늘보다 내일 또 미세하게 높은 그 누적된 기울기를 읽어내요. 임계치를 넘기 한참 전에 "이거 한 방향으로 계속 흐르고 있는데요" 하고 먼저 손을 듭니다. 며칠 더 진행돼서 마모가 심해지면 그제야 Isolation Forest가 "구조가 평소와 다르다"고 합류하고, 진동 패턴이 옆 동종 설비들과 벌어지기 시작하면 LOF가 "이 설비만 무리에서 이탈했다"고 끼어듭니다. 임계값 알람이 마침내 울릴 무렵이면, 이미 며칠 전부터 EWMA가 신호를 보내고 있었던 셈이에요. 그 며칠이 계획 정비와 비상 정지를 가르는 차이입니다.

지금 이상한가, 곧 고장 날 것인가

여기까지가 "지금 이상한가"를 보는 얘기였습니다. 그런데 현장에서 더 갖고 싶어 하는 건 사실 그다음이에요. "그래서 이게 언제 고장 나는데?" 이상탐지가 현재형이라면, 예지보전은 미래형입니다.

VEXPLOR는 LSTM 앙상블로 설비 건강도를 실시간 모니터링합니다. LSTM은 시계열의 장기 의존성을 학습하는 순환 신경망 계열인데요, 쉽게 말하면 센서값이 흘러온 궤적을 기억해 두고 그 추세대로라면 앞으로 어떻게 될지를 가늠하는 모델이에요. 사람이 베테랑 정비반장의 감으로 "이 소리, 한 보름 가겠는데" 하는 걸 데이터로 하는 셈이죠.

여기서 모델을 하나만 쓰지 않고 여러 개를 앙상블한 이유가 있습니다. 단일 모델은 자기만의 편향과 과적합이 있어서 어떤 상황에서 혼자 헛다리를 짚을 수 있거든요. 여러 모델을 묶으면 그런 개별적인 쏠림이 서로 상쇄돼서 예측이 한결 안정됩니다. 그렇게 나온 결과를 "설비 건강도"라는 하나의 지표로 환산해서, 고장이 터지기 전에 저하되는 추세를 미리 읽습니다.

알림만 띄우면 절반입니다

탐지도 잘하고 예측도 잘했다 칩시다. 그런데 그게 화면에 알림 하나 띄우고 끝나면, 솔직히 절반만 한 거예요. 정작 그 시각에 그 화면을 보는 사람이 없으면 아무 일도 안 일어나니까요.

VEXPLOR의 AI 성숙도 단계에서 이 지점이 L2(능동 선제개입)에 해당합니다. AI가 이상을 감지해서 가만히 기다리는 게 아니라 먼저 선제 알림과 제안을 내미는 단계예요. "이 설비 건강도가 떨어지는 추세입니다, 점검 한번 잡으시죠" 하고 AI가 먼저 말을 거는 거죠.

그럼 자연스럽게 이런 생각이 드실 겁니다. "기왕 거기까지 갔으면, 점검 작업까지 AI가 알아서 걸면 안 돼?" 맞는 말인데, 바로 그 한 걸음에 함정이 있습니다. 자동 대응으로 넘어가는 순간 "AI가 대체 어디까지 손대도 되는가"라는 통제 문제가 생기거든요. 조회만 할 건지, 알림만 할 건지, 설정을 바꿔도 되는지, 긴급 상황에 라인을 멈춰도 되는지. 이걸 정해 두지 않으면 자동화는 편리한 동시에 위험합니다.

그래서 VEXPLOR에는 AAF(Agent Authority Framework)가 있습니다. AI의 실행 권한을 L0(조회)부터 L4(긴급대응)까지 단계와 정책으로 명확히 정의해 둔 거예요. "무엇까지 자동으로 하게 둘지"를 통제하니까, 예지보전 결과를 안심하고 실행 단계로 확장할 수 있습니다. 자동화는 권한 통제가 받쳐 줄 때 비로소 안전해진다는 게 저희 생각이에요.

어제 잘 맞던 모델이 오늘 빗나가는 이유

여기서 끝났으면 좋겠지만, 현장 ML에는 고약한 함정이 하나 더 있습니다. 모델이 늙는다는 거예요.

현장 데이터는 가만히 있질 않습니다. 계절이 바뀌면 온도·습도가 달라지고, 설비는 해가 갈수록 노후하고, 공정 조건도 수시로 바뀝니다. 그러면 어제까지 찰떡같이 맞던 모델이 오늘 갑자기 빗나가기 시작해요. 모델이 틀린 게 아니라, 세상이 모델이 배운 그 시절에서 떠나 버린 겁니다. 이걸 데이터 드리프트라고 부릅니다.

VEXPLOR는 이 데이터 드리프트를 감지하면 파이프라인을 자동 실행합니다. 드리프트가 감지되면 재학습과 재배포가 자동으로 돌아가도록 묶어 둔 거예요. 모델을 "한 번 잘 만들어서 배포하면 끝"으로 보지 않고, 데이터가 변하는 만큼 모델도 계속 갱신되게 살려 두는 거죠. 이게 운영 ML(MLOps)의 핵심 숙제이기도 합니다. 덕분에 예지보전과 이상탐지의 정확도가 시간이 지나도 무너지지 않고 유지됩니다. 처음 한 달만 잘 맞고 반년 뒤엔 아무도 안 믿게 되는, 그 흔한 비극을 피하는 거예요.

결국 표준화가 깔려 있어야 가능합니다

여기까지 읽고 "그럼 탐지기랑 모델만 좋으면 되겠네" 싶으셨다면, 절반만 맞습니다. 사실 이 모든 게 돌아가려면 그 아래 깔린 토대가 있어야 해요.

탐지기 다섯 개를 일관되게 돌리려면, 건강도를 설비끼리 비교하려면, 드리프트를 측정하려면, 그 전에 설비·공정 데이터가 표준화된 구조로 가지런히 모여 있어야 합니다. 데이터가 제각각 다른 형식으로 흩어져 있으면 탐지기를 같은 잣대로 돌릴 수가 없어요. 길 없는 데서 내비게이션 켜는 격이죠.

그 표준화된 데이터 위에서 AI 어드바이저가 한 겹 더 일을 합니다. 공정을 분석해 병목을 식별하고, 스키마와 워크플로우 개선안까지 제안해요. 그러니까 "여기 이상해요"에서 끝나는 게 아니라 "이렇게 바꾸면 더 나아집니다"는 운영 개선으로 이어지는 겁니다. 저희가 입버릇처럼 말하는 "표준화 없이 AI 없다"가, 예지보전에서도 토씨 하나 안 틀리고 그대로 적용된다는 얘기예요.

같이 풀 사람을 찾습니다

예지보전과 이상탐지에는 아직 안 풀린 재밌는 문제가 잔뜩 남아 있습니다. 라벨이 거의 없는 환경에서 이상을 잡아내는 법, 성격이 다른 여러 탐지기의 결과를 어떻게 가중하고 보정할지, 설비마다 다른 특성에 모델을 적응시키는 법, 드리프트 감지 임계와 재학습 트리거를 어디서 당길지, 그리고 거짓 경보를 줄이면서도 진짜 고장은 안 놓치는 그 아슬아슬한 균형을 맞추는 법까지요. 하나같이 깔끔한 정답이 없는 문제들이라, 붙잡고 씨름하다 풀고 나면 보람이 제법 쏠쏠합니다.

VEXPLOR는 제조 AI OS를 만드는 (주)웨이스의 제품입니다. 위에 늘어놓은 문제들이 "어 이거 재밌겠는데" 싶으셨다면, 아마 저희랑 잘 맞으실 거예요.

• 관심 분야: 시계열·이상탐지 / 예지보전(PHM) / MLOps(드리프트·재학습 파이프라인) / 산업 ML

• 더 알아보기: 채용·회사 소개 https://wace.me · 기술 문의 contact@wace.me