저희 검사 스크립트가 자기 성적을 잘못 보고하고 있었습니다
AI에게 일을 맡기기 시작하면 검사 장치가 따라 늘어납니다. 사람이 결과물을 일일이 다 볼 수 없으니 자동으로 훑는 스크립트를 만들어 붙이고, 그 스크립트가 통과를 내면 다음 단계로 넘깁니다. 코드 린터, 테스트, 배포 전 점검, 문서 검사 — 형태는 달라도 하는 일은 같습니다. 사람 대신 봐 주는 것입니다.
연재
도구가 보고한 숫자를 실제와 대조하는 법
검사 스크립트·분석 화면·빌드가 보고하는 숫자는 실제와 다를 수 있습니다. 웨이스가 운영 중 찾은 사례로, 무엇을 확인해 대조하면 그 차이가 드러나는지 회차마다 하나씩 정리합니다.
전체 4편 · 1편부터 순서대로 읽는 것을 권합니다
저희 사이트맵의 날짜를 구글은 무시하고 있었습니다
밖으로 신호를 보내는 일에는 공통된 약점이 하나 있습니다. 그 신호가 상대에게 어떻게 읽혔는지는 우리 쪽에 안 남는다는 것입니다. 메일을 보내면 보낸편지함에는 남지만 상대가 스팸으로 걸렀는지는 모릅니다. API를 호출하면 200이 돌아오지만 상대 시스템이 그 값을 버렸는지는 모릅니다.
원본과 사본을 구분하지 않아, 고칠 자리를 3개월 동안 잘못 봤습니다
데이터를 보고 결정하는 일에는 잘 안 보이는 단계가 하나 있습니다. 그 데이터가 원본인지, 원본을 요약한 사본인지는 화면에 적혀 있지 않습니다. 두 화면은 대개 똑같이 생겼습니다. 같은 항목이 같은 자리에 있고 숫자만 다릅니다.
문서를 고친 뒤 새로 생긴 결함을 찾는 법저희 개정 78건에서 5건이 나왔습니다
공정에는 불량률이 있고, 누구나 그 숫자를 관리합니다. 그런데 고치는 작업의 불량률은 잘 따지지 않습니다. 결함을 찾는 일에는 검사와 판정과 기록이 붙는데, 찾아낸 것을 반영하는 일은 "처리 완료" 한 줄로 넘어갑니다. 지적 78건을 반영했으면 78건이 없어진 것으로 칩니다.
