AI에게 주는 규칙 파일이 길어지면 무엇이 달라지는가취리히 연방공대 실험과 규칙 파일에 남길 것 4가지
AI 코딩 도구에 규칙 파일을 넣어도 과제 성공률은 거의 그대로였고 비용은 평균 20% 넘게 늘었습니다. 취리히 연방공대 연구진이 코딩 에이전트 4종에 실제 저장소의 과제를 맡겨 얻은 결과입니다. 규칙 파일을 넣었을 때 달라진 것은 일의 결과가 아니라 일하는 방식과 비용이었습니다.
이 태그가 붙은 글 · 모두 3편
AI 코딩 도구에 규칙 파일을 넣어도 과제 성공률은 거의 그대로였고 비용은 평균 20% 넘게 늘었습니다. 취리히 연방공대 연구진이 코딩 에이전트 4종에 실제 저장소의 과제를 맡겨 얻은 결과입니다. 규칙 파일을 넣었을 때 달라진 것은 일의 결과가 아니라 일하는 방식과 비용이었습니다.
검사를 돌렸는데 결과가 0건으로 나왔습니다. 이때 우리는 보통 안심합니다. 걸린 게 없다는 뜻이니까요. 그런데 0은 두 가지를 동시에 뜻합니다. 정말 없거나, 검사가 고장 났거나. 이 둘은 화면에서 똑같이 생겼습니다. 오류 메시지도, 빨간 글자도, 종료 코드 1도 없습니다. 그냥 조용히 0입니다.
AI에게 일을 시키려면 규칙을 적어 줘야 합니다. 무엇을 먼저 확인하고, 무엇을 하면 안 되고, 어디서 멈춰 사람에게 물어야 하는지를 문서로 만들어 매번 읽힙니다. 문제는 그 문서가 한 방향으로만 자란다는 것입니다.