전체 사례No. 017
Carta 복잡한 펀드 회계에 맥락형 AI 에이전트를 심다
- 사례 번호
- 017
- 1차 출처
- First Round Review
- 원문 게시
- 2025-07-22
1. 왜 이 사례인가
비상장 주식 및 지분 관리(Equity Management) 소프트웨어의 독보적 강자인 카르타(Carta)는 미국 벤처 투자를 유치한 스타트업의 50% 이상을 고객으로 두고 있습니다. 그러나 카르타에는 소프트웨어 구독 사업 외에 완전히 다른 성격의 비즈니스가 존재합니다. 600여 명의 전문 인력이 2,500개 고객(펀드)을 전담하며 복잡한 펀드 회계, 규제 준수, 세무 보고를 대행하는 ‘펀드 어드민(Fund Administration)’ 서비스 부문입니다.
펀드 어드민 업무는 극도로 노동 집약적입니다. 각 펀드는 조합 계약서(Limited Partner Agreement, LPA)라는 고유한 법률 문서에 규정된 개별 원칙에 따라 운용되며, 이 규칙들은 시스템 외부의 비정형 문서에 흩어져 있습니다. 담당자 1명이 3~4개 펀드를 맡을 때는 수작업이 가능하지만, 고객 수가 10개, 20개, 많게는 40~50개로 늘어나면 업무는 병목에 직면합니다. 문제가 발생했을 때 필요한 맥락을 여러 시스템과 과거 기록에서 수집하는 데만 대부분의 시간이 소모되기 때문입니다.
카르타의 머신러닝 팀과 펀드 어드민 실무진은 이 ‘동적 맥락 수집 문제(Dynamic Context Problem)’를 해결하기 위해 내부 AI 에이전트를 개발했습니다. 특히 매달 20,000~25,000건씩 발생하는 고강도 수작업인 현금 대사(Cash Reconciliation, 외부 은행 입출금 내역과 카르타 내부 총계정원장 간의 불일치 검증 및 분개)에 에이전트를 적용했습니다.
건당 11분이 걸리던 복잡한 검증 업무를 수 초 단위로 단축하여 월 3,500시간 이상의 수기 노동을 절감한 이 사례는, 모델 파인튜닝 대신 도메인 전문가의 의사결정 트리를 Lucidchart 다이어그램으로 그려 시스템 프롬프트(JSON)로 자동 컴파일하는 독창적인 AX 설계 방식을 보여줍니다.
2. Problem
카르타의 펀드 어드민 조직은 전문적인 판단(human judgement)이 필수적이지만 실행 과정이 비효율적인 수많은 워크플로를 처리해야 했습니다.
대표적인 병목은 ‘현금 대사(Cash Reconciliation)’였습니다. 외부 은행 피드와 카르타의 내부 총계정원장(GL)을 대조하여 차이를 해결하고 정확한 분개장(journal entries)을 입력하는 일입니다. 이 작업을 완수하려면 여러 내부 도구에서 데이터를 조회하고, 고객별 특이 메모를 읽고, 과거 거래 내역을 검토한 뒤, 해당 펀드 고유의 회계 규칙을 적용해야 했습니다.
문제가 발생하면 진상을 파악하기 위해 펀드 어드민 담당자, 엔지니어링, 고객 지원 팀 간에 끝없는 질의응답과 핑퐁(back-and-forth)이 오갔습니다. 작업 자체는 건당 평균 11분이 소요되었으나, 매달 카르타 내부 팀이 처리해야 하는 물량이 20,000~25,000건에 달했습니다.
Vrushali Paunikar(Carta CPO)는 이 문제의 본질이 ‘맥락 수집(Context-gathering)의 병목’이라고 규정했습니다. 팀원들이 무엇이 잘못되었는지, 어떤 조치를 취해야 하는지 맥락을 파악하지 못해 대기하는 시간이 길어졌고, 이는 고객 서비스 지연과 일관성 저하로 이어졌습니다.
Jayant Tikmani(Carta ML 디렉터)는 고객 경험을 저해하는 핵심 요인이 단순 작업량보다 ‘판단의 지연과 불일치’에 있었다고 지적하며, 비용 절감보다는 판단을 확장(scaling judgement)하고 서비스 품질을 개선하는 영역에 AI 에이전트를 투입해야 했다고 설명합니다.
확인된 사실: 600명 인력이 2,500개 펀드 지원, 월 20,000~25,000건의 현금 대사 작업 발생, 건당 평균 11분 소요, 다중 시스템 조회와 비정형 계약서 기반 맥락 수집으로 인한 부서 간 핑퐁 발생.
3. Solution
카르타는 대형 모델 파인튜닝 대신 기존 파운데이션 모델(OpenAI)과 사내 도메인 지식을 정밀하게 결합하는 인컨텍스트 러닝(In-context learning) 기반 에이전트 아키텍처를 선택했습니다.
3.1 펄스 체크(Pulse Check)에서 현금 대사 에이전트로의 확장
팀은 처음부터 거대한 자동화를 시도하지 않고 내부 ‘펄스 체크 에이전트’로 개념 증명(PoC)을 시작했습니다. 대차대조표와 손익계산서 간의 불일치가 발생했을 때, 에이전트가 오류를 진단하고 담당 팀에 알림을 보내며 구체적인 해결 절차를 제안하는 파일럿이었습니다.
이 성공을 바탕으로 핵심 난제인 현금 대사 에이전트로 확장했습니다. 복잡한 시스템 개발 없이 빠른 검증을 위해 Henry Ward(Carta CEO)가 직접 제품 관리자(PM) 역할을 맡고, 3명의 엔지니어(Thomas Yook, Justin Lin, Titus Peterson)와 솔루션 도메인 전문가(Brady Fisher)가 원팀으로 애자일하게 프로토타입을 구축했습니다.
3.2 도메인 전문가의 의사결정 트리: Lucidchart to JSON 프롬프트 컴파일
카르타의 가장 독창적인 기술적 선택은 프롬프트 관리 방식입니다. 모델이 현금 대사를 올바르게 판단하려면 숙련된 펀드 회계사의 멘탈 모델이 주입되어야 했습니다.
- 회계 도메인 전문가들이 Lucidchart 상에 전체 의사결정 트리(어떤 상황에서 어떤 데이터를 확인하고 어떤 분개 조치를 내릴 것인가)를 순서도로 도식화했습니다.
- 사내에서 개발한 프롬프트 생성기를 통해 이 Lucidchart 다이어그램을 실시간으로 JSON 구조로 변환하여 에이전트의 시스템 프롬프트로 프로그래밍 방식으로 주입했습니다.
- 에이전트가 판단 실수를 저지를 때마다 회계 팀에 “실제 사람이라면 이 상황에서 어떤 정보를 확인하고 어떤 결정을 내렸을지” 물어 의사결정 트리를 업데이트했습니다. 비개발자인 현업 전문가가 Lucidchart만 수정하면 에이전트의 로직이 즉시 갱신되는 유지보수 파이프라인을 구축했습니다.
3.3 대화형 UI와 실행 제어권 분리
ML 디렉터인 Tikmani는 초기에는 챗봇 형태의 UI에 회의적이었으나, 빠른 반복 실험과 디버깅에는 대화형 인터페이스가 가장 적합하다는 점을 인정하고 이를 채택했습니다.
- 추론 과정 노출: 에이전트가 어떤 내부 도구를 호출했는지 중간 결과와 모델 추론 과정을 노출하여, 사용자가 단순 오답인지 논리적 판단 차이인지 즉시 검증할 수 있게 했습니다.
- 특정 단계 재실행(Rerun): 전체 프로세스를 처음부터 다시 돌릴 필요 없이, 에이전트가 잘못된 결정을 내린 특정 단계부터 피드백을 반영해 재실행할 수 있는 인터랙션 기능을 추가했습니다.
- 도구 선택의 자율화: 사용자가 호출할 도구를 수동으로 고르게 하면 자율 에이전트의 목적이 훼손되므로, 도구 선택은 에이전트에게 전적으로 맡기되 맥락 데이터의 품질을 고도화하는 데 집중했습니다. 기술 스택으로는 OpenAI 모델, 임베딩 검색을 위한 pgvector, 사내 API 및 DB 쿼리 모듈을 활용했습니다.
확인된 사실: CEO가 PM을 맡은 3인 엔지니어 소규모 TF, 파인튜닝 배제 및 인컨텍스트 러닝 집중, Lucidchart 다이어그램의 JSON 프롬프트 변환 파이프라인, 오류 단계 재실행 기능 및 도구 호출 투명성 제공.
4. Impact
First Round 인터뷰 및 카르타 내부 데이터에 공개된 주요 성과는 다음과 같습니다.
| 지표 | 개선 전 | 도입 후 | 비고 |
|---|---|---|---|
| 건당 현금 대사 소요 시간 | 11분 | 수 초 (seconds) | 20,000~25,000건/월 대상 |
| 월간 노동 시간 절감 규모 | - | 3,500+ 시간/월 | 펀드 어드민 전사 적용 기준 |
| 부서 간 커뮤니케이션 | 잦은 핑퐁 및 에스컬레이션 | 이관 횟수 급감 | 단일 인터페이스에서 맥락 완결 |
| 담당자 피드백 | 복잡한 수기 작업에 매몰 | 학습 동반자 및 의사결정 보조 | 현장 실무자(John Clarito) 증언 |
에이전트는 단순히 계산을 빠르게 처리하는 데 그치지 않고, 각기 다른 시스템에 흩어져 있던 맥락을 하나의 화면에 요약해 제시함으로써 신규 실무자들의 업무 기준선을 높이는 교육적 도구로도 기능하고 있습니다.
확인된 사실: 건당 11분에서 수 초로 단축, 월 3,500시간 이상 절감, 월 20,000~25,000건 대상, 에스컬레이션 감소.
5. Insight
카르타의 펀드 어드민 에이전트 구축기는 전문직 도메인에 에이전트를 성공적으로 안착시키기 위한 실천적 통찰을 제공합니다.
파인튜닝의 환상을 버리고 맥락에 집중해야 합니다. 카르타 팀이 강조하듯 복잡한 판단 작업의 성능은 모델 파라미터 튜닝보다 ‘작업에 필요한 올바르고 구조화된 맥락을 얼마나 정확하게 전달하는가’에 달려 있습니다. 이미 기업 내부에 정답 데이터와 도구 API가 존재한다면 파운데이션 모델에 인컨텍스트 러닝과 벡터 검색(pgvector)을 결합하는 것만으로도 충분한 프로덕션 성능을 낼 수 있습니다.
도메인 전문가가 직접 로직을 코딩하게 해야 합니다. 비개발자인 회계 전문가에게 파이썬 코드나 프롬프트 엔지니어링 문법을 가르치는 대신, 그들에게 익숙한 다이어그램 도구(Lucidchart)를 개발 환경으로 제공하고 이를 시스템이 컴파일하도록 설계했습니다. 이로써 AI 엔지니어의 병목 없이 현장 지식이 시스템에 실시간으로 반영되는 지속 가능한 운영 루프가 완성되었습니다.
복제 조건과 한계. 이 접근법이 효과를 보려면 업무 프로세스가 순서도(Flowchart) 형태로 명문화될 수 있는 결정론적 규칙을 내포하고 있어야 합니다. 또한 사내 내부 시스템과 데이터베이스에 프로그래밍 방식으로 안전하게 접근할 수 있는 모듈화된 API 인프라가 선행되어야 합니다. 3,500시간 절감은 카르타의 내부 추산치이며, 완전 무인 처리율이나 오류 발생 시 롤백 프로세스에 대한 세부 통계는 공개되지 않았습니다.
한 줄 교훈: 에이전트 성능의 핵심은 모델 자체가 아니라 도메인 전문가의 머릿속 의사결정 트리를 프롬프트로 번역해 내는 ‘맥락 파이프라인’에 있습니다.
6. 원문에 없는 추정 (구현 가설)
6.1 Lucidchart 노드 파싱과 동적 시스템 프롬프트 주입
근거: 원문은 전문가가 Lucidchart에 의사결정 트리를 그리면 사내 도구가 이를 JSON으로 변환하여 에이전트 프롬프트에 프로그래밍 방식으로 주입한다고 명시합니다.
실제 구현에서는 Lucidchart API를 통해 다이어그램의 각 도형(Shape), 연결선(Connector), 텍스트 라벨을 추출했을 것입니다. 각 결정 노드(Decision Node)는 “조건(Condition): 은행 적요란에 ‘Management Fee’ 키워드 포함 여부”, 실행 노드(Action Node)는 “도구 호출: GL API /v1/journal-entries 준비”와 같은 구조적 JSON 스키마로 파싱되었을 것입니다. 에이전트는 런타임에 거래 건별 속성에 맞는 해당 서브트리 JSON을 시스템 프롬프트의 지침(Instructions) 블록에 동적으로 바인딩하여 환각 없이 규칙에 부합하는 판단을 내렸을 가능성이 큽니다.
6.2 다중 원장 상태 검증과 예외 격리 롤백 메커니즘
근거: 원문은 오류 발생 시 처음부터 다시 시작하지 않고 잘못된 결정이 내려진 단계부터 재실행할 수 있는 기능과 도구 호출 단계별 로깅을 언급합니다.
이를 가능하게 하기 위해 카르타는 랭체인이나 독립적 워크플로 엔진 상에서 각 단계를 상태 머신(State Machine)의 체크포인트로 기록했을 것입니다. 은행 데이터 조회, 고객 메모 검색, 계정 매칭, 분개 초안 생성 등의 각 단계가 상태 저장소에 스냅샷으로 남기 때문에, 현업 담당자가 결과 화면에서 “계정 매칭 오류”를 수정하면 그 이전 단계의 API 조회 결과를 재사용하면서 후속 분개 초안 생성 단계만 즉시 재계산하는 방식으로 불필요한 LLM 비용과 응답 지연을 방지했을 것입니다.
7. 출처
- First Round Review — The Dynamic Context Problem: How Carta’s Internal AI Agents Save Thousands of Hours of Back-and-Forth Work
https://www.firstround.com/ai/carta
발행일: 2025-07-22 | 인터뷰: Jayant Tikmani, Vrushali Paunikar