AX Field Notes

전체 사례No. 009

Brex, 카드 분쟁 처리 3시간을 3초로

공통 도구 규격과 3단계 역할 재편으로 이끈 운영 자동화

사례 번호
009
1차 출처
First Round Applied Intelligence
원문 게시
2025-09-25
팟캐스트 영상 · 28분
AX 필드노트 팟캐스트 · 두 진행자가 이 사례를 풀어 봅니다 · 영상과 음성은 AI로 만들었습니다전체 에피소드 ↗

요약

  • 사내 인공지능 플랫폼을 구축하고 운영 업무를 에이전트에 위임했습니다.
  • 카드 분쟁 처리가 3초로 단축되고 지원 문의 절반을 즉시 해결했습니다.
  • 단순 도구 도입을 넘어 사람의 역할을 재설계해야 성과가 납니다.

복잡한 금융 규제와 외주 운영이 만든 병목

금융 기술 기업의 운영 조직은 늘 살얼음판을 걷습니다. 결제 오류 하나, 고객 신원 확인 누락 하나가 곧바로 규제 위반이나 사기 피해로 이어지기 때문입니다. 그래서 기업들은 100페이지가 넘는 표준 업무 절차서(SOP)를 만들고, 카드 분쟁이나 연체 관리 같은 반복 업무를 대규모 업무 외주(BPO) 업체에 맡겨 처리해 왔습니다.

기업용 금융 서비스를 제공하는 Brex도 비슷한 벽에 부딪혔습니다. 벤처캐피털 First Round가 운영하는 Applied Intelligence가 2025년 9월 25일 발행한 인터뷰에 따르면, 당시 Brex의 카드 분쟁 처리는 심각한 지연을 겪고 있었습니다. 복잡한 네트워크 규정을 일일이 대조하며 분쟁 서류를 작성해야 했기에, 사건 한 건을 처리하는 데 평균 약 3시간이 걸렸습니다. 게다가 외주 인력마다 숙련도가 달라 처리 결과물의 품질도 제각각이었습니다.

품질 검사(QA) 체계도 한계에 이르렀습니다. 외주 업체와 내부 담당자들이 쏟아내는 수많은 고객 응대를 5명의 내부 전문 인력이 표본만 추출해 검사하고 있었기 때문입니다. 전체 대화 중 극히 일부만 확인하다 보니 서비스 품질의 구멍을 제때 메우기 어려웠습니다.

새로운 인공지능 도구를 도입하려 해도 기업 내부의 행정 절차가 발목을 잡았습니다. 임직원이 1,000명을 넘어서면서 새로운 소프트웨어 하나를 들여올 때마다 보안, 법무, 구매 부서의 개별 심사를 거쳐야 했습니다. 심사에만 몇 달씩 걸리다 보니 검토가 끝날 때쯤에는 이미 더 뛰어난 기술이 나오는 악순환이 이어졌습니다.

여기에 자동화는 무조건 전체 업무를 완전히 끝내야 한다는 흑백논리도 걸림돌이었습니다. 사람의 미묘한 판단이 필요한 예외 상황이 단 하나라도 있으면 자동화 계획 전체가 중단되곤 했습니다. James Reggio 최고기술책임자(CTO)와 Camilla Matias 최고운영책임자(COO)는 이런 구조적 마찰을 깨기 위해 플랫폼 엔지니어링과 운영 조직 개편을 동시에 시작했습니다.

사내 플랫폼을 통해 제품과 운영의 경계를 허물다

Brex는 직원들에게 개별 보조 도구를 쥐여주는 방식으로는 운영 구조를 바꿀 수 없다고 판단했습니다. 대신 대고객 제품과 내부 운영 도구가 같은 기반에서 작동하는 사내 에이전트 플랫폼을 세웠습니다.

이 작업은 2023년 3월 내부 업무 도구 제작 플랫폼인 Retool 환경에서 시작되었습니다. 초기에는 OpenAI의 개발자 플랫폼 구조를 본떠 작은 시제품으로 출발했습니다. 이후 프롬프트 관리, 복수 모델 평가 체계, 자동화 연동 기능을 갖춘 기업용 플랫폼으로 확장되었습니다. 엔지니어링, 제품, 디자인을 아우르는 전체 350여 명 규모의 EPD 조직 가운데 약 25명으로 구성된 시스템 엔지니어링 팀이 이 플랫폼을 전담했습니다.

이 플랫폼의 핵심은 외부 고객용 제품과 내부 운영 도구가 동일한 규격의 도구를 함께 쓴다는 점이었습니다. 바로 모델 컨텍스트 프로토콜(MCP, AI가 사내 도구와 데이터를 부르는 공통 연결 규격)을 채택한 덕분입니다. 제품 엔지니어가 고객 기능을 위해 새로운 데이터 조회 도구를 만들면, 내부 운영 담당자도 에이전트 플랫폼에서 그 도구를 즉시 꺼내 쓸 수 있었습니다.

실제 현장에서는 운영 담당자가 Retool 화면에서 필요한 모델을 고르고 프롬프트를 조립했을 것입니다. 백엔드의 MCP 클라이언트가 금융 원장의 잔액이나 거래 승인 내역을 안전한 읽기 전용 인터페이스로 호출하는 방식으로 구동되었을 가능성이 높습니다. 테스트를 실행하면 여러 모델의 응답 품질과 소요 비용이 한눈에 비교되었을 것입니다. 검증을 마친 조합은 고유한 식별 번호를 부여받아 사내 메신저 봇이나 자동 배치 작업으로 배포되었을 것입니다.

보안 심사를 단축한 데이터 기준 거버넌스

도구 도입 속도를 끌어올리기 위해 Brex는 구매 및 보안 심사의 문법을 바꿨습니다. 개별 업체의 브랜드를 따지던 방식에서 벗어나 데이터 생애주기 중심의 사전 승인 제도를 도입했습니다.

새로운 기준은 세 가지 통제 장치로 구성되었습니다. 첫째는 고객 데이터를 30일 넘게 보관하지 않는 조건입니다. 둘째는 고객이 입력한 정보를 인공지능 모델 학습에 쓰지 않는다는 보장입니다. 셋째는 데이터 분리 보장이었습니다. 이 기준을 충족하는 외부 도구는 복잡한 개별 계약 심사 없이 사전 승인 경로로 빠르게 통과시켰습니다.

개발 코드베이스에 대한 보안 등급도 현실에 맞게 조정했습니다. 과거 높은 보안 등급으로 묶여 있던 소프트웨어 소스 코드를 ‘저위험 회사 데이터’로 다시 분류했습니다. 개발자들이 코드 작성 보조 도구를 막힘없이 쓰도록 하려는 조치였을 것입니다.

접근 권한 관리도 자동화했습니다. 임직원이 업무 메신저인 Slack에서 권한 관리 도구인 ConductorOne을 호출하는 명령어 /c1을 입력하면, 본인 확인 시스템인 Okta를 통해 승인된 도구의 권한이 자동으로 부여되었습니다. 개별 계정을 만드는 대신 사내 Retool 프록시와 단일 인증(SSO)을 거치게 하여 보안 위험도 차단했습니다.

사람을 관리하던 팀장이 에이전트를 감독하는 세 단계 조직

조직 구조도 근본적으로 손질했습니다. Brex는 운영 인력의 역할을 세 단계 체계로 재편했습니다.

첫 번째는 L1 단계입니다. 기존에 외주 업체가 표준 업무 절차서에 따라 처리하던 단순 실행 업무입니다. 이제 이 영역은 에이전트가 도맡아 직접 수행합니다.

두 번째는 L2 단계입니다. 시니어 분석가와 현장 관리자들이 속합니다. 이들은 더 이상 부하 직원의 인사 평가를 하지 않고 에이전트를 관리합니다. 에이전트가 내놓은 결과물에 피드백을 주고, 예외 상황이 발생하면 직접 개입해 사안을 처리합니다. 사람을 상대로 하던 성과 평가 대신 프롬프트에 직접 피드백을 전달하고, 결과물을 검증할 평가 기준표를 정교하게 다듬는 업무에 집중합니다.

세 번째는 L3 단계입니다. 신용 전략, 금융 사기 방지, 규제 준수를 담당하는 도메인 전문가들입니다. 이들은 사람이 처리할 업무와 에이전트가 처리할 업무의 경계를 정하고, 전체 시스템이 지켜야 할 정책과 규칙을 설계합니다.

이러한 개편에 따라 일선 지원 업무를 담당하던 고객 지원 직무 중 15개 이상이 L2 단계로 이동했습니다. 사람의 손을 떠난 단순 문의는 에이전트가 흡수했습니다. 실제로 고객 지원 문의의 50% 이상이 챗봇의 첫 응답에서 곧바로 해결되었습니다.

품질 검사 체계도 획기적으로 바뀌었습니다. 과거에는 5명의 전담 인력이 일부 표본만 골라 통화나 채팅을 점검했습니다. 현재는 인공지능 품질 검사 에이전트가 고객 응대 전체를 100% 전수 평가합니다. 이 에이전트는 기계가 응대한 대화뿐 아니라 사람이 직접 처리한 상담 내역까지 모두 동일한 기준표로 채점합니다.

검사 관리자 1명이 에이전트의 채점 결과를 감독하며 프롬프트를 개선합니다. 실제 운영 과정에서는 상담이 끝날 때마다 대화 전문이 비동기 파이프라인으로 전달되었을 것입니다. 검사 에이전트가 상담원의 공감도, 규정 준수 여부, 정보의 정확성을 다각도로 평가한 뒤 기준 미달 건만 L2 관리자의 화면으로 띄웠을 가능성이 높습니다. 관리자는 누적된 예외 사례를 보며 프롬프트를 손질해 시스템 전체의 품질을 높였습니다.

Brex 세 단계 운영 역할 체계
L1절차 업무에이전트 직접 수행L2관리·예외 처리시니어 분석가·일선 관리자L3정책·경계 설계신용·사기·규제 전문가문의 50% 이상 첫 응답 해결QA: 5명 표본 → AI가 100%, 1명 감독고객 지원15개 이상 이동
단순 업무는 에이전트가 처리하고 사람은 예외 처리와 정책 설계에 집중합니다. (출처: First Round Applied Intelligence)

현업 매니저가 주도한 핵심 금융 업무 자동화

자동화 성과는 개발자가 아닌 현업 실무자의 손에서 터져 나왔습니다. 결제 운영 매니저인 Kyle Martin의 사례가 대표적입니다. 그는 엔지니어의 도움을 기다리는 대신 에이전트 플랫폼을 직접 활용했습니다.

Kyle Martin 매니저는 100페이지가 넘는 카드 네트워크 분쟁 가이드와 기존 외주 업체의 표준 업무 절차서를 플랫폼에 차례로 입력했습니다. 그리고 프롬프트를 끊임없이 다듬었습니다. 그 결과 예전에는 평균 약 3시간이 걸리던 카드 결제 분쟁 서류 작성 시간이 단 3초로 줄었습니다.

서류의 설득력도 한층 높아졌습니다. 과거 외주 담당자는 카드 규정에서 4개에서 5개 정도의 반박 논거를 찾아내는 데 그쳤습니다. 반면 에이전트는 사람이 놓치기 쉬웠던 Mastercard 규정 논거를 2개에서 3개 더 찾아냈습니다. 그 덕분에 훨씬 강력한 증빙 서류를 카드 네트워크에 제출할 수 있게 되었습니다.

실제 내부 작동 과정은 다단계 파이프라인 구조였을 것입니다. 먼저 접수된 분쟁 사유를 분석해 필요한 카드 규정 조항을 벡터 검색으로 찾아내고, 고객의 결제 영수증과 대조해 승소 확률이 높은 논거를 추려낸 뒤 표준 서식에 맞춰 문서를 완성하는 흐름이었을 것으로 보입니다.

다른 복잡한 금융 절차에서도 점진적 자동화가 빛을 발했습니다. Brex는 모든 과정을 한 번에 자동화하려 들지 않았습니다. 업무 단계 가운데 확신도가 높은 40%에서 80% 구간을 먼저 자동화하는 전략을 택했습니다.

신규 고객의 신원을 확인하는 절차는 모두 14단계로 이루어져 있었습니다. Brex는 이 가운데 판단 기준이 명확한 8개에서 10개 단계를 먼저 에이전트에 맡겼습니다. 북미 산업 분류 체계인 NAICS 코드를 부여하는 업무처럼 판단 기준이 명확하게 떨어지는 단계들이 대표적으로 자동화되었습니다. 특히 까다로운 부정적 언론 보도 판별 작업에서 성과가 두드러졌습니다. 과거 사람이 직접 뉴스를 검토했을 때의 정확도는 85%였습니다. 반면 에이전트가 판별했을 때는 88%의 정확도를 기록했습니다. 주관적 판단이 섞인 영역에서도 기계가 사람보다 더 정확한 판단을 내린 셈입니다.

Brex KYC 14단계 자동화 범위
8+24에이전트 수행확장 범위(8~10)사람 분석가부정적 언론 판별 정확도사람85%에이전트88%
14단계 중 8~10단계를 에이전트가 맡으며 칸 위치는 실제 순서와 무관합니다. (출처: First Round Applied Intelligence)

연체 계정 관리 업무도 완전히 달라졌습니다. 기존에는 담당자가 미리 작성된 정형화된 이메일 양식의 문구를 조금씩 고쳐 발송했습니다. 바뀐 환경에서는 에이전트가 고객의 계정 상태와 이전 대화 이력, 내부 협상 지침을 종합적으로 분석합니다. 그리고 부드러운 어조부터 단호한 어조까지 여러 가지 이메일 초안을 한 번에 작성해 담당자에게 제안합니다. 직원은 상황에 가장 적절한 초안을 골라 약간의 수정만 거쳐 발송합니다. 이 방식은 기존 양식 수정 방식보다 더 높은 고객 응답률을 끌어냈습니다.

채용과 평가 기준까지 바꾼 인공지능 조직 문화

기술과 제도를 갖춘 Brex는 구성원의 역량을 끌어올리는 훈련에도 공을 들였습니다. 전사적인 교육 과정을 개설해 프롬프트 작성법, 작업 흐름 설계법은 물론 Cursor나 NotebookLM 같은 최신 보조 도구 활용법을 가르쳤습니다.

운영 직원은 분기마다 자신의 인공지능 역량을 네 단계로 스스로 평가합니다. 가장 기초적인 사용자(User)부터 옹호자(Advocate), 제작자(Builder), 원어민 수준(Native)에 이르는 AI Fluency 체계입니다. 평가 결과 하위 25%에 속한 직원은 별도의 실습 과제를 받습니다. 매일 업무 중에 3회에서 5회 이상 반복하는 작업을 스스로 자동화하는 과제입니다.

채용 방식도 전면 개편했습니다. 고객 지원 부서를 제외한 모든 직군의 채용 면접에 인공지능을 직접 활용해 문제를 푸는 실전 사례 과제를 도입했습니다. 영업 지원 부서의 가격 책정 시나리오 7개를 직접 해결하는 과제가 대표적입니다. 면접관은 지원자가 제출한 최종 결과물만 보지 않습니다. 지원자가 어떤 프롬프트를 입력했는지, 인공지능과 대화하며 논리를 어떻게 발전시켰는지 그 사고 과정을 꼼꼼히 검토합니다. 도구를 다루는 문제 해결 능력이 채용의 핵심 기준이 된 것입니다.

다른 기업 리더들이 눈여겨봐야 할 점

Brex의 사례는 인공지능 도입을 고민하는 기업들에게 명확한 기준점을 제시합니다.

첫째, 개별 도구의 단순 배포를 경계해야 합니다. 임직원 컴퓨터에 챗봇 계정을 하나씩 넣어주는 방식으로는 일하는 방식을 바꿀 수 없습니다. 고객용 제품을 개발하는 엔지니어링 역량과 내부 운영을 뒷받침하는 인프라가 한곳에서 만나야 합니다. 공통 연결 규격(MCP)을 바탕으로 현업이 쉽게 꺼내 쓸 수 있는 사내 플랫폼을 갖추는 것이 먼저입니다.

둘째, 100% 자동화라는 완벽주의를 버려야 합니다. 모든 예외를 인공지능이 다 처리할 때까지 기다리면 프로젝트는 영원히 현장에 적용되지 못합니다. 판단 기준이 확실한 40%에서 80% 구간을 먼저 기계에 떼어주고, 모호한 예외는 사람에게 넘기는 안전망을 설계해야 합니다.

셋째, 조직의 역할 정의가 바뀌어야 합니다. 일선 실무를 에이전트에게 넘겼다면 중간 관리자의 역할도 바뀌어야 마땅합니다. 사람을 통제하던 관리자를 에이전트의 품질을 검사하고 개선하는 관리자로 전환하지 못하면 기술 투자는 비용 낭비로 끝납니다. 결국 인공지능 도입의 성패는 모델의 성능이 아니라 조직 체계를 재설계하는 결단력에 달려 있습니다.

이러한 운영 방식을 갖추려면 사내 시스템 엔지니어링 팀과 더불어 Retool 같은 내부 업무 도구 플랫폼을 구축해 본 경험이 뒷받침되어야 합니다. 여기에 더해 업무 과정을 꼼꼼하게 기록한 표준 업무 절차서인 SOP를 철저히 문서화해 두어야 합니다. 명확하게 정의된 SOP가 마련되어 있지 않다면 프롬프트 엔지니어링으로 해결할 수 있는 업무 범위는 매우 제한될 수밖에 없습니다.


출처

First Round Applied Intelligence — Agent + Human Ops: How AI is Changing Roles and Workflows at Brex — https://www.firstround.com/ai/brex — 2025-09-25 (James Reggio, Camilla Matias)