MerciYanis — 25인 SaaS가 전사 백로그를 에이전트 플릿에 넘겨 95% PR 머지율을 달성한 비결

1. 왜 이 사례인가

많은 엔지니어링 조직이 AI 코딩 에이전트를 도입하지만, 대개 자동완성이나 단발성 리팩터링 수준에 머뭅니다. 작업을 에이전트에 통째로 넘기면 아키텍처 맥락을 무시한 채 동작만 겨우 하는 난잡한 코드(AI-slop)가 양산되거나, 마이그레이션 및 상태 오염으로 개발 환경이 깨져 결국 사람이 수습해야 하기 때문입니다.

스마트 오피스 및 IoT 기반 운영 관리 SaaS를 개발하는 프랑스의 25인 스타트업 메르시야니스(MerciYanis)의 CTO 마티외 자부르(Matthieu Jabbour)가 공개한 기술 블로그(2026년 4월 20일)는 소규모 팀이 어떻게 백로그 전체를 에이전트 플릿에 위임하고 프로덕션 퀄리티를 유지했는지에 대한 정밀한 청사진을 제시합니다.

메르시야니스는 2025년 11월 차세대 프론티어 모델(Opus 4.5, GPT-5.2)이 출시된 직후, 막연한 기대감 대신 실제 스프린트 백로그를 대상으로 인간 개발자(주니어 및 시니어)와 에이전트 간의 엄격한 A/B 벤치마크를 진행했습니다. 동일한 사용자 스토리, 와이어프레임, 모호성을 가공 없이 투입하고, 일반 엔지니어와 동일하게 CI 통과 및 동료 리뷰 승인을 거쳐야 하는 프로덕션 머지 기준을 적용했습니다.

실험 결과는 놀라웠습니다. 전체 백로그 티켓의 머지율은 약 95%에 달했고, 작업 속도는 시니어 추정치 대비 최대 10배, 주니어 대비 최대 32배(보일러플레이트 작업의 경우 최대 86배)까지 단축되었습니다. 머지된 PR당 토큰 비용의 중앙값은 3유로 미만이었습니다.

더 주목할 부분은 이를 뒷받침한 엔지니어링 인프라입니다. 암묵지(tacit knowledge)를 체계화한 핸드북(Handbook), 에이전트 세션마다 독립된 풀스택 인스턴스를 수 분 내에 띄우는 환경 복제 시스템, 비개발 직군도 슬랙 멘션으로 기능을 빌드하고 라이브 프리뷰를 확인하는 전사 슬랙 봇을 구축했습니다. 25인 규모의 팀이 수백 명 규모 조직의 개발 처리량을 소화하게 된 실전 아키텍처 사례입니다.

2. Problem

메르시야니스가 초기 에이전트 도입에서 겪었던 한계와 구조적 난제는 세 가지였습니다.

2.1 맥락 없는 에이전트가 양산하는 ‘임의적 선택’과 AI-slop

에이전트에게 사전 브리핑 없이 티켓을 주면, 에이전트는 전역 아키텍처 비전이나 특정 라이브러리가 금지된 이유를 모른 채 ‘일단 완료 상태’를 만들기 위해 임의의 결정을 내립니다. 그 결과 표면적으로는 작동하지만 내부 아키텍처 원칙을 깨뜨리는 저품질 코드가 양산되었습니다. CTO는 “이해하지 못하고 통제하지 못하는 코드를 배포하는 것은 제품을 외주 주는 것과 다름없으며, 첫 번째 장애나 확장 시점에 막대한 대가를 치르게 된다”고 지적했습니다.

2.2 동시 실행 시 발생하는 데이터베이스 마이그레이션 충돌

인간 엔지니어는 한 번에 하나의 브랜치에서 순차적으로 작업합니다. 반면 에이전트는 수십 개 세션이 동시에 병렬로 실행됩니다. 단순한 Git 워크트리(worktree) 분리만으로는 복수 저장소와 공유 인프라 환경을 감당할 수 없었습니다. 특히 스키마 마이그레이션이 포함된 작업을 여러 에이전트가 단일 테스트 데이터베이스에서 실행할 경우, 상태 오염과 레이스 컨디션(경쟁 상태)으로 인해 다른 모든 에이전트 작업이 연쇄 중단되는 치명적 문제가 발생했습니다.

2.3 비즈니스 조직과 엔지니어링 간의 컨텍스트 단절

25명 규모의 조직임에도 불구하고, 영업이나 고객 성공(CSM) 팀이 고객 미팅에서 수집한 요구사항이 실제 배포로 이어지기까지는 긴 소통 사이클이 소요되었습니다. 비개발 직군에게 로컬 개발 환경(Docker, 저장소 복제 등) 구성을 요구하는 것은 현실적으로 불가능했기에, 비개발자가 직접 아이디어를 프로토타이핑하고 검증할 수 있는 진입 장벽 없는 협업 인터페이스가 절실했습니다.

3. Solution

메르시야니스는 이 세 가지 문제를 세 단계의 시스템 레이어로 해결했습니다.

3.1 컨텍스트 계층: MerciYanis Handbook과 슬래시 커맨드

에이전트가 팀의 3개월 차 온보딩 엔지니어 수준의 맥락을 갖추도록 노션에 흩어져 있던 사내 지식을 100% 마크다운 기반 단일 저장소인 ‘MerciYanis Handbook’으로 집약했습니다.

엔지니어링 철학, 시스템 아키텍처 및 서비스 경계, 인프라 배포 원칙, 코딩 표준, 단위 테스트 작성 지침 등을 체계화했습니다.
Claude Code의 커스텀 슬래시 커맨드를 통해 에이전트의 워크플로를 강제했습니다. 예를 들어 /fix 커맨드를 실행하면:
1. 아키텍처 챕터를 읽어 서비스 경계 확인
2. 스택 챕터를 읽어 허용된 라이브러리와 패턴 확인
3. 로컬에서 버그를 반드시 재현 (재현 실패 시 작업 중단)
4. 최소한의 diff로 수정 코드 작성
5. 테스트 챕터를 읽고 버그 검증용 단위 테스트 작성
6. 전체 테스트 스위트 실행 (실패 시 PR 오픈 금지)
7. PR 템플릿 규칙에 맞춰 PR 생성
이 프로세스를 통해 에이전트 코드 품질을 ‘대체로 양호한 수준’에서 ‘거의 100% 프로덕션 수준’으로 끌어올렸습니다.

3.2 격리 인프라 계층: 환경 복제 시스템 (Environment Replication)

동시 다발적인 에이전트 병렬 실행을 안전하게 격리하기 위해, 세션마다 플랫폼 전체를 복제하는 인프라를 구축했습니다.

5분 이내 풀스택 부트업: 스크립트 단 한 줄로 데이터베이스 시딩, Kafka 메시지 브로커, 모든 마이크로서비스, 소스 빌드 라이브러리를 5분 내에 완전 기동하는 플레이북을 완성했습니다.
완전한 세션별 격리: 에이전트가 작업을 시작하면 전용 독립 컨테이너 환경이 프로비저닝되어 스키마 변경이나 데이터 조작이 다른 에이전트에 일절 영향을 주지 않으며, 작업 완료 시 즉시 삭제됩니다.
Traefik 동적 라우팅: 단일 머신에서 수십 개의 독립 환경이 포트 충돌 없이 안정적인 고유 호스트네임 URL로 서비스되도록 라우팅을 구성했습니다.

3.3 인터페이스 계층: 슬랙 봇 기반 전사 빌드 민주화

전사 직원이 개발 환경 설정 없이 에이전트를 호출할 수 있도록 슬랙 봇을 개발했습니다.

전용 격리 서버에 에이전트 스택을 올리고, 슬랙 채널에서 봇을 멘션하여 요구사항을 서술하면 봇이 독립 환경을 띄워 에이전트를 실행합니다.
웹 앱, 백오피스 등 영향받는 모든 제품 화면에 대한 실시간 라이브 프리뷰(Preview URL)를 슬랙 스레드에 반환합니다.
디자이너, PM, 영업, CSM이 공개 스레드에서 실제 구동 화면을 보며 피드백을 주고받는 ‘사전 공동 검증 루프’가 형성되었습니다.
부수 효과로 코드베이스 기반의 실시간 지능형 질의응답 엔진으로 활용되어, 영업팀이 보안 및 컴플라이언스 질문(인증 여부, 개인정보 처리 등)을 개발팀에 묻지 않고 자체 해결하게 되었습니다.

4. Impact

메르시야니스가 통제된 백로그 벤치마크 및 프로덕션 운영을 통해 확인한 정량적 성과는 다음과 같습니다. (수치 출처: MerciYanis 기술 블로그, 2026-04-20)

지표	에이전트 도입 전/인간 기준	에이전트 도입 후	비고
백로그 티켓 프로덕션 머지율	—	약 95%	실제 CI 통과 및 동료 리뷰 기준
개발 소요 시간 (시니어 대비)	1.0 (기준선)	최대 약 10배 단축	14개 대표 티켓 기준 2,190분 → 220분
개발 소요 시간 (주니어 대비)	1.0 (기준선)	최대 약 32배 단축	단순 보일러플레이트 티켓은 최대 86배
머지된 PR당 토큰 비용	시니어 시간당 인건비 수준	중앙값 3유로 미만 (€3)	14개 티켓 총 비용 €84.05 소진
신규 엔지니어/에이전트 첫 PR 시간	과거 4일 → 2025년 1시간	10분 미만 (5분 내 스택 기동)	인간과 에이전트 온보딩 속도 동반 개선
슬랙 봇 전사 주간 요청 건수	—	주당 약 15건 신규 요청	2026년 3월 전사 배포 이후 지속 성장

마티외 CTO는 개발 속도가 10배 빨라지면서 병목이 ‘코드 작성’에서 ‘코드 리뷰(Code Review)‘와 ‘제품 우선순위 판정(Product Arbitration)‘으로 완전히 이동했다고 밝혔습니다. 하루 수십 건의 PR을 소화하기 위해 자동화된 보안 검사, 에이전트 간 사전 리뷰(agent-on-agent pre-review) 시스템을 도입하고 있습니다.

5. Insight

메르시야니스의 전환기는 AI 에이전트를 개발 조직에 실질적으로 안착시키기 위한 본질적 교훈을 제공합니다.

문서화는 에이전트의 런타임 연료입니다. 노션에 방치된 비구조화된 문서는 에이전트에게 무용지물입니다. 아키텍처 규칙, 금지된 패턴, 테스트 지침이 코드 저장소 내 100% 마크다운 형태로 살아있어야 하며, 에이전트가 코드를 쓰기 전에 해당 문서를 강제로 읽도록 제어해야 품질이 담보됩니다.

인간 온보딩 최적화가 에이전트 최적화로 직결됩니다. ‘첫 PR까지 걸리는 시간’을 줄이기 위해 컨테이너화와 5분 풀스택 기동 스크립트에 투자했던 과거의 노력이 에이전트 도입의 가장 큰 디딤돌이 되었습니다. 사람에게 복잡하고 취약한 개발 환경은 에이전트에게도 치명적입니다.

엔지니어의 역할은 코딩에서 아키텍처와 플랫폼으로 진화합니다. 코딩 자체가 상품화(commodity)되면서, 엔지니어의 핵심 역할은 문제 정의와 솔루션 설계(Product Builder), 그리고 수백 개의 PR이 쏟아져도 시스템 일관성과 품질을 유지하는 플랫폼 엔지니어링(Platform Engineer)으로 재편됩니다.

6. 구현 방식 추론 (Architectural Walkthrough)

6.1 근거: 메르시야니스는 에이전트 세션마다 독립된 플랫폼 복제본(데이터베이스, Kafka, 마이크로서비스)을 5분 내에 프로비저닝하고 Traefik을 통해 고유 URL로 라우팅한다고 밝혔습니다. 격리 인프라의 오케스트레이션은 Docker Compose와 Traefik의 레이블 기반 동적 서비스 디스커버리를 결합한 구조로 추정됩니다. 슬랙 봇이나 CLI에서 작업이 인입되면 작업 ID(예: task-8492) 기반의 독립 브랜치와 고유 네임스페이스가 생성됩니다. 오케스트레이터 스크립트는 템플릿화된 Docker Compose 매니페스트에 고유 네트워크와 볼륨을 바인딩하고, 컨테이너 라벨에 Traefik 라우팅 규칙(예: Host('task-8492.preview.merciyanis.internal'))을 주입하여 기동합니다. 시드 데이터베이스는 경량화된 익명화 스냅샷 덤프를 마운트하여 컨테이너 초기화 시 수초 내에 복원되도록 설계되었을 것이며, 에이전트 작업이 종료되면 해당 컨테이너 그룹과 임시 볼륨이 즉시 회수되는 라이프사이클 훅이 작동합니다.

6.2 근거: 슬랙 봇이 비개발 직군의 요청을 받아 에이전트를 구동하고, 변경된 화면의 라이브 프리뷰 링크를 스레드에 반환하며, 코드베이스 기반 Q&A를 수행한다고 밝혔습니다. 슬랙 봇 백엔드는 Bolt SDK와 백그라운드 작업 큐(예: Celery 또는 Redis Queue) 기반의 비동기 아키텍처로 구현되었을 가능성이 높습니다. 사용자가 슬랙 채널에서 멘션과 함께 기능 추가나 버그 수정을 요청하면, 봇은 즉시 “작업 환경을 준비 중입니다”라는 스레드 메시지를 게시하고 백그라운드 워커에 작업을 인큐(enqueue)합니다. 에이전트 런타임은 로컬 저장소를 체크아웃한 뒤 앞서 구축된 전용 Docker 환경의 API 엔드포인트와 통신하며 빌드 및 테스트를 수행합니다. 작업이 완료되면 Traefik이 노출한 프리뷰 URL과 요약 변경 내역을 슬랙 API를 통해 해당 스레드로 콜백 업데이트합니다. 코드 질의응답 요청의 경우 환경 기동 없이 최신 main 브랜치의 AST 및 핸드북 마크다운 파일을 기반으로 RAG 파이프라인을 거쳐 비즈니스 친화적 언어로 변환된 답변을 반환하도록 분기 처리되었을 것으로 분석됩니다.

7. 출처

MerciYanis Engineering Blog — Going AI-Native: How We Handed Our Backlog to Agents
URL: https://engineering.merciyanis.com/blog/going-ai-native-how-we-handed-our-backlog-to-agents
발행일: 2026-04-20
저자: Matthieu Jabbour (CTO, MerciYanis)