SWE-bench (1) 썸네일형 리스트형 SWE-bench 통과해도 머지 못 한다? AI PR ‘절반이 막히는’ 진짜 이유 Photo by Desola Lanre-Ologun on Unsplash (https://unsplash.com/photos/YgOCJz9uGMk)요약AI 코딩 에이전트가 “벤치마크에서 몇 점”을 받았다는 건, 그 자체로는 실무에서 “곧바로 머지 가능한 코드”를 만든다는 뜻이 아닙니다. METR는 SWE-bench Verified에서 테스트를 통과한 AI PR을 실제 오픈소스 메인테이너들이 리뷰하게 했고, 그 결과 대략 절반가량은 메인 브랜치에 들어가기 어렵다는 결론을 냈습니다.이 글에서는 “왜 이런 차이가 생기는지”와 “우리 팀이 바로 적용할 수 있는 운영 가드레일”을 정리합니다.무슨 일이 있었나 (쉽게 말하면)SWE-bench 같은 벤치마크는 보통 “이슈(버그/기능) → PR 제출 → 자동 테스트로 .. 이전 1 다음
