Escargot Review Bot

Samsung/Escargot PR의 변경 코드를 분석하고 리뷰 코멘트를 다는 AI 봇입니다.

기간
2025.09 ~ 2026.03
개발 인원
2명
분류
AI 응용, System Software
기술
Python, LangChain, Ollama, GitHub Actions, FastAPI
Escargot Review Bot이 PR의 변경된 줄에 단 리뷰 코멘트
그림 1. 봇이 PR의 변경된 줄에 단 리뷰 코멘트

개요

삼성의 경량 JavaScript 엔진 Escargot에 PR이 올라오면, 바뀐 줄을 LLM이 분석해서 해당 줄에 리뷰 코멘트를 자동으로 다는 자체 호스팅 봇입니다.

hunk 단위 리뷰 파이프라인 설계

비교 실험

내용

PR의 변경 내용인 hunk를 리뷰하는 파이프라인을 설계했습니다.

검증

같은 프롬프트로 순차 처리, 병렬 처리, hunk 단위 병렬 처리 세 가지를 비교하는 실험을 하고, 그 결과로 방식을 정해 프로젝트에 적용했습니다.

PR 자동 리뷰 워크플로 구성

GitHub Actions

내용

GitHub Actions의 self-hosted runner에서 PR이 열리면 리뷰가 자동으로 실행되는 워크플로를 구성했습니다.

4-Pass 리뷰 파이프라인과 Judge 패스 구현

구조 개선

문제

기존 봇은 Defect와 Refactor 듀얼 패스를 순차 실행했습니다. 첫 번째 패스가 코멘트를 단 줄은 뒤 패스가 건너뛰는(skip_ids) 구조여서, 한 줄에 한 관점의 피드백밖에 받을 수 없었습니다.

해결

GCC/Clang 최적화 관점의 Compiler 패스와 Escargot의 코딩 스타일 가이드를 따르는 Style 패스를 추가하고, skip_ids 구조를 제거한 전과 후를 실험해 성능 차이를 확인했습니다. 네 패스가 모두 리뷰하도록 바꿨습니다.

결과

같은 줄에 코멘트가 겹치면 앞선 패스에서 쓰지 않은 독립 모델이 하나로 합치는 Judge 패스를 두어, 중복 코멘트와 자기확증 편향을 함께 줄였습니다.

LangChain 전환과 LangSmith 트레이싱

코드 구조 개선

문제

LLM 호출과 JSON 파싱을 직접 작성한 코드로 처리하고 있어서, 다른 LLM 제공자를 붙이거나 봇이 단 리뷰를 분석하기 번거로웠습니다.

해결

프롬프트 템플릿, Output Parser, LCEL 체인으로 서비스 코드를 LangChain으로 옮겼습니다.

결과

LangSmith 계층형 트레이싱을 붙이고 PR마다 별도 프로젝트에 기록이 쌓이게 해서, 리뷰 결과를 PR 단위로 분석할 수 있게 됐습니다.

성능 평가 실험 설계

함정 PR 5개 · 함정 36개

문제

다중 패스 구조와 모델 구성에 따라 결함 탐지 성능과 비용이 어떻게 달라지는지 확인할 방법이 필요했습니다. Microsoft의 CodeReviewer, 알리바바의 AACR-Bench 같은 선행 연구와 벤치마크는 저장소 전체 맥락을 입력으로 쓰는 등 평가 조건이 diff 단위로 리뷰하는 이 봇과 달라 그대로 적용하기 어려웠습니다.

해결

Escargot 코드에 결함을 일부러 심은 함정 PR 5개(함정 36개)를 직접 만들고, 각 결함의 위치와 유형(Defect, Refactor, Compiler, Style)을 정답으로 문서화했습니다. 같은 PR을 실행 모드(sequential, hunk, pass)와 모델 구성별로 10회씩 반복해 리뷰하게 하고, 정탐률, 소요 시간, 비용, GPU 사용량을 측정해 비교했습니다.

결과

모든 패스를 OpenAI 단일 고성능 모델로 돌린 구성이, 패스마다 다른 로컬 모델을 쓴 구성보다 평균 정탐률이 약 20% 낮았습니다. OpenAI 모델은 오탐이 한 건도 없었지만, "애매하면 빈 배열을 반환하라"는 프롬프트 가드레일을 충실히 따라 리뷰 자체를 내지 않는 미탐이 많았습니다. 처음에는 기대한 리뷰의 1/8 정도만 반환됐고, 가드레일의 엄격성을 낮춰 80~90%까지 반환되도록 개선했습니다.

시스템 아키텍처

PR이 열린 뒤 hunk가 네 패스와 LLM, Judge를 거쳐 PR 줄 코멘트가 되기까지의 흐름입니다.

PR 열림self-hosted runner 실행
hunk 분리변경 내용 단위
Defect결함
Refactor리팩터링
CompilerGCC/Clang 최적화 관점
StyleEscargot 코딩 스타일 가이드
Judge독립 모델이 같은 줄의 코멘트를 하나로 병합
PR 줄 코멘트변경된 줄에 게시