변호사 수정본으로 에이전트를 가르치는 Crosby

핵심

• 에이전트 수정안을 변호사가 고친 흔적이 그대로 학습 데이터가 됩니다.
• 변호사와 엔지니어가 한 팀으로 묶이고 변호사가 직접 프롬프트를 씁니다.
• 청구 가능 시간 대신 전체 처리 시간과 검토 시간으로 성과를 평가합니다.

빠르게 크는 기술 회사의 계약서 검토를 직접 맡는 로펌

영업팀이 계약을 성사시키려 할 때마다 발목을 잡는 일이 있습니다. 바로 반복되는 상업 계약서 검토입니다. 고객사가 계약서 초안을 보내오면 변호사가 내용을 살펴보고, 문구를 고치고, 왜 고쳤는지 설명하는 코멘트를 달아 다시 보냅니다. 이 과정이 끝나야 계약이 체결됩니다.

Crosby는 바로 이 상업 계약 검토와 협상을 전문으로 다루는 뉴욕의 로펌입니다. 이들이 주로 처리하는 서류는 비밀유지계약(NDA), 기본 서비스 계약(MSA), 데이터 처리 계약(DPA)입니다. 고객사는 주로 Cursor나 Clay처럼 빠르게 성장하는 기술 회사들입니다.

Crosby는 2024년에 문을 열었습니다. 대형 로펌 Cooley에서 변호사로 일하고 스타트업 법무 책임자를 지낸 Ryan Daniels와, 핀테크 기업 Ramp에서 엔지니어링 리드로 일한 John Sarihan이 함께 세웠습니다. 이 회사는 스스로를 “수직 통합된 AI 네이티브 로펌”이라고 부릅니다. 다른 로펌에 판매하는 소프트웨어를 만드는 회사가 아니라, 정식 변호사 자격을 갖춘 인력을 두고 직무과실 보험에 가입하며 결과물에 법적 책임을 지는 로펌 그 자체입니다.

2026년 6월 Ryan Daniels가 Artificial Lawyer에 밝힌 바에 따르면, 회사는 두 개의 법인 구조로 나뉘어 있습니다. 실제로 법률 서비스를 제공하는 로펌 법인이 있고, 기술을 라이선스하고 청구나 영업 같은 비법률 업무를 전담하는 별도 회사가 있습니다. 회사는 지금까지 약 8,600만 달러의 투자를 유치했으며, 가장 최근에는 2026년 3월에 6,000만 달러 규모의 시리즈 B 투자를 받았습니다.

계약 한 건이 들어와 수정본으로 나가기까지의 흐름

고객사가 협업 메신저인 Slack에서 Crosby를 태그하거나 이메일을 보내면서 일이 시작됩니다. 2025년 9월 Sequoia의 Training Data 팟캐스트에서 John Sarihan은 이 첫 단계를 두고 “현재 우리는 모든 업무를 배분하는 법률 보조원 에이전트를 구축해 둔 상태입니다”라고 설명했습니다. 이 에이전트가 들어온 요청을 검토할 변호사에게 배정합니다.

그다음에는 에이전트들이 첫 번째 검토 작업을 진행합니다. 에이전트는 전체 계약 내용을 요약하고, 레드라인(계약서에 빨간 줄로 고친 흔적을 남긴 수정안)을 제안하며, 각 수정을 왜 가했는지 설명하는 코멘트 초안을 작성합니다. 창업자들은 변경 이유를 명확하게 설명하는 영역이야말로 인공지능이 가장 뛰어난 능력을 발휘하는 부분이라고 말합니다.

에이전트가 만든 초안을 변호사 자격자가 건네받습니다. 변호사는 필요한 부분을 고치고 다듬은 뒤 최종본을 고객사에게 발송합니다. 창업자들은 팟캐스트에서 고객사가 보통 몇 시간 안에 수정된 문서를 받아 본다고 밝혔습니다.

이 흐름이 매끄럽게 돌아가려면 고객사마다 다른 원칙을 시스템이 기억하고 있어야 합니다. Crosby는 고객사마다 미리 합의된 협상 플레이북을 마련해 둡니다. 회사의 Cursor 고객 사례 페이지를 보면, Crosby는 Cursor와 사전에 합의한 협상 플레이북 안에서 계약을 검토하며, 이 기준을 벗어나는 사안이 발생하면 Cursor의 시니어 법무 담당에게 안건을 넘겨 판단을 구합니다.

고객의 선호도와 과거의 협상 결정들은 Crosbrain이라는 데이터베이스에 저장됩니다. 새로운 계약서가 들어올 때마다 시스템은 해당 고객의 이전 계약 버전, 상대방의 과거 입장, 고객사가 가장 중요하게 여기는 우선순위를 데이터베이스에서 자동으로 불러와 작업에 반영합니다.

에이전트 초안과 변호사의 수정본이 쌓여 만드는 학습 데이터

에이전트가 먼저 초안을 작성하고 변호사가 이를 편집하기 때문에, Crosby 내부에는 모든 검토 작업마다 두 가지 버전이 남습니다. 에이전트가 처음에 제안한 수정안과 변호사가 최종적으로 고객에게 보낸 수정안입니다. 2026년 10월 19일 회사 블로그 글은 “변호사가 내리는 결정 하나하나가 모두 잠재적인 훈련 라벨입니다”라고 설명합니다. Crosby는 이 비교 데이터를 세 가지 방식으로 활용합니다.

첫째, 인간의 판단이 필요 없는 기계적인 점검 규칙을 가장 먼저 실행합니다. 수정안이 엉뚱한 문단에 들어가지 않았는지, 설명 코멘트가 알맞은 문구에 정확히 붙어 있는지, 수정을 거치면서 계약서 앞뒤에 정의되지 않은 새로운 용어가 생기지 않았는지를 자동으로 점검합니다. Crosby는 이러한 사전 규칙 점검을 통해 잘못 만들어진 코멘트 40개가 한꺼번에 붙을 뻔한 변경 사항을 미리 잡아내기도 했습니다.

둘째, 변호사의 판단을 측정할 때는 점수를 매기는 대신 두 안을 나란히 두고 비교하게 합니다. 변호사들에게 수정안을 보고 1점부터 10점까지 점수를 매겨 달라고 요청하면 사람마다 기준이 달라 일관된 평가가 나오지 않았기 때문입니다. 그래서 Crosby는 변호사에게 모델이 작성한 것인지 사람이 작성한 것인지 알 수 없게 블라인드 처리된 두 개의 수정안을 보여 줍니다. 그리고 어느 쪽을 고객에게 보내고 싶은지 고르게 한 뒤, 선택한 안을 손대지 않고 그대로 보낼 수 있는지 묻는 방식을 씁니다.

셋째, 변호사가 해당 제안을 그대로 수용할 확률을 예측하는 Verifier 모델을 만들었습니다. Crosby는 라벨이 붙은 약 13,000건의 수정 데이터를 바탕으로 Verifier를 학습시켰습니다. 이 모델의 목표는 변호사가 에이전트의 수정안을 고치지 않고 그대로 고객에게 보낼 확률을 미리 계산하는 것입니다. 회사는 이 모델을 활용해 변호사의 귀한 시간을 고도의 판단이 꼭 필요한 수정에 집중시키고, 아직 변호사가 검토하지 않은 계약에서 에이전트의 완성도를 미리 채점할 계획입니다.

물론 이 데이터에도 명확한 한계가 있으며, 회사 역시 이를 숨기지 않습니다. 한 자체 실험에서 두 명의 변호사가 같은 NDA 20건을 수정했을 때 나온 약 500개의 수정 사항 중 두 사람의 의견이 일치한 비율은 45%에 불과했습니다. 또한 변호사가 계약서를 고칠 때 반영한 맥락 중에는 고객이 전화 통화로 슬쩍 건넨 선호 사항처럼 에이전트가 전달받지 못한 정보가 섞여 있기도 합니다.

변호사 간 계약서 수정 일치율

이러한 시스템을 만드는 내부 인력 구성도 독특합니다. Ryan Daniels가 2026년 6월 Artificial Lawyer 인터뷰에서 밝힌 바에 따르면, 당시 인원은 변호사 약 45명과 엔지니어링 및 운영 인력 약 40명이었습니다. 2026년 10월 회사 웹사이트에는 변호사 자격자가 50명 이상으로 나와 있습니다. 변호사와 엔지니어는 팀 단위로 일하며, 고객사마다 변호사 한 명과 엔지니어 한 명이 짝을 이루는 경우가 많습니다. Ryan Daniels는 사무실 구조를 두고 “책상이 변호사, 엔지니어, 변호사, 엔지니어 순서로 번갈아 배치되어 있습니다”라고 설명했습니다.

Crosby 사무실 좌석 배치

변호사들은 인공지능 엔지니어에게 요구 사항을 전달하는 데 그치지 않고 프롬프트를 직접 작성합니다. Daniels는 팟캐스트에서 “변호사들이 프롬프트를 직접 쓰게 하세요”라고 강조했습니다. 내부 평가 도구 역시 두 직군이 함께 보도록 설계되었습니다. 실제 Word 문서를 화면에 띄우고 에이전트가 만든 수정안 바로 옆에 변호사가 고칠 것으로 예상되는 수정안을 나란히 보여 줍니다. 변호사는 고객의 배경 맥락을 수정할 수 있고, 시스템 프롬프트와 기반 도구 개발은 엔지니어가 맡아 분업합니다.

편집자가 된 변호사와 계약서 한 건당 매기는 요금

전통적인 로펌에서 변호사는 계약서 수정안을 처음부터 직접 작성하고, 그 작업에 들어간 시간을 따져 시간당 요금을 청구합니다. 반면 Crosby에서 에이전트는 첫 번째 초안을 만들고, 변호사는 이를 검토하고 다듬는 편집자로 일합니다. 변호사가 고친 흔적은 다시 에이전트를 가르치는 소중한 훈련 데이터가 됩니다. Daniels에 따르면 로펌 내부에는 이른바 “super senior” 파트너가 없으며, 회사가 거둔 이익은 파트너들에게 배당되는 대신 기술 연구에 재투자됩니다.

업무를 평가하는 기준도 다릅니다. Crosby는 변호사가 일한 청구 가능 시간을 집계하지 않습니다. John Sarihan은 “우리는 전체 처리 시간을 기준으로 운영됩니다”라고 밝혔습니다. 전체 처리 시간은 고객사로부터 계약서를 전달받은 시점부터 여러 차례의 검토를 거쳐 최종 수정본을 넘겨줄 때까지 걸린 총시간을 뜻합니다. 여기에 사람이 검토에 직접 쓴 시간을 뜻하는 HuRT 지표와, 작성된 결과물이 고객사별 위험 허용 성향에 들어맞는지를 검증하는 세 번째 지표를 함께 봅니다. 변호사들은 청구 시간이 아니라 전체 처리 시간과 검토 시간에 얼마나 기여했는지로 평가받습니다.

Crosby가 밝힌 통제된 시험 결과에 따르면, 에이전트를 해당 업무에 맞게 조정한 뒤 변호사의 검토 시간이 한 고객사의 NDA에서는 74% 줄었고, 다른 고객사의 MSA에서는 약 80% 줄었습니다. 이는 회사가 직접 측정한 수치입니다.

요금 체계 또한 기존 법조계의 관행과 다릅니다. Crosby는 시간 단위가 아니라 계약서 문서 한 건당 고정 요금을 받습니다. 회사 홈페이지에는 “시간을 사지 마세요. 결과를 사세요”라는 문구가 걸려 있습니다. Daniels는 “기본 단위는 계약서입니다”라고 말합니다. 문제는 상대방과의 협상이 몇 차례나 오갈지 모르는 상태에서 계약서 한 건당 요금을 미리 확정해야 한다는 점입니다. Daniels는 인터뷰에서 예측이 빗나가 “우리는 일하면서 늘 손해를 보기도 합니다”라고 인정했습니다.

독립 리서치 회사인 Contrary Research의 분석에 따르면, 기존 로펌들도 기본적인 계약서 검토에는 Crosby와 비슷한 수준의 금액을 청구합니다. 이들이 보기에 Crosby가 가진 차별점은 낮은 가격이 아니라 빠른 처리 속도와 계약 한 건당 단 한 번만 청구되는 정액 요금 방식에 있습니다.

그렇다면 자동화는 어디까지 와 있을까요. 지금은 변호사가 모든 결과물을 직접 확인합니다. Daniels는 2026년 7월 Artificial Lawyer가 인용한 글에서 “현재 우리 변호사들은 모든 작업 결과물을 일일이 검토합니다”라고 적었습니다. 그는 같은 글에서 앞으로 에이전트 자체를 위한 직무배상 보험에 가입할 계획이며, 미래에는 이러한 인간의 검토 작업이 필요 없게 될 것이라고 말했습니다. 하지만 Bloomberg Law는 여전히 법률 업계 전반에서 변호사가 인공지능의 작업물을 직접 검토하는 방식이 지배적인 원칙으로 남아 있다고 전했습니다.

시간제 청구의 흔들림과 전문가 조직이 배울 수 있는 세 가지

Crosby가 보여 준 운영 방식이 유지된다면 기존 법률 산업의 오랜 관행들이 흔들릴 수 있습니다. 먼저 대량으로 발생하는 정형화된 업무에서 시간제 청구 방식이 힘을 잃을 수 있습니다. 소프트웨어가 초안 작성의 대부분을 맡는 환경에서는, 시간당 비용을 청구하는 기존 로펌의 경우 일을 더 빨리 끝낼수록 오히려 매출이 줄어드는 모순에 부딪힙니다.

Crosby는 이를 반대로 뒤집었습니다. 계약서 한 건당 고정 요금을 받기 때문에, 검토 속도가 빨라질수록 건당 마진이 더 커질 수 있습니다. 문서 한 건을 처리하는 데 들어가는 노력을 예측할 수 있게 된다면, 반복적인 계약 검토 업무는 점차 시간제 청구에서 건당 정액제로 옮겨갈 수 있습니다. 다만 작업 범위를 미리 내다보기 힘든 복잡한 사건은 여전히 시간제 청구로 남을 가능성이 높으며, 이는 창업자들도 팟캐스트에서 인정한 부분입니다.

로펌 특유의 피라미드 조직 구조도 달라질 수 있습니다. 창업자들은 팟캐스트에서 전통적인 로펌 교육을 장인이 도제를 가르치는 방식에 비유했습니다. 만약 에이전트가 초안 작성을 도맡게 된다면, 신입 변호사들이 일을 배우며 거치던 실무 과정이 크게 줄어들거나 성격이 변할 수 있습니다. Crosby 스스로도 주니어 어소시에이트 변호사, 시니어 어소시에이트 변호사, 주니어 파트너 변호사의 역할을 본뜬 에이전트를 단계별로 만들 계획을 세우고 있습니다. 그렇다면 미래의 변호사들은 스스로 초안을 작성해 보지 않고 어떻게 법적 판단력을 기를 것인가라는 근본적인 물음이 남습니다.

전문가의 검토를 거쳐야 하는 다른 분야의 기업들도 Crosby의 검토 체계에서 세 가지 배울 점을 찾을 수 있습니다.

첫째, 에이전트의 초안과 전문가의 최종 수정본 두 가지를 모두 저장하는 일입니다. 두 버전을 나란히 남겨 두면 별도의 데이터 라벨링 프로젝트를 벌이지 않아도 일상적인 업무 흐름 자체가 그대로 인공지능을 가르치고 평가하는 훈련 데이터가 됩니다.

둘째, 기계적인 규칙 점검을 먼저 수행하는 일입니다. 고도의 전문적 판단이 필요한 일이라 해도 문단 위치나 용어 정의처럼 기계적으로 검사할 수 있는 영역이 있습니다. 이를 사전에 규칙으로 걸러 내면 전문가가 사소한 오류를 잡느라 시간을 낭비하지 않게 할 수 있습니다.

셋째, 모호한 점수 매기기 대신 두 가지 안을 직접 비교하게 하는 일입니다. 전문가마다 점수 기준이 다르면 데이터의 신뢰도가 떨어집니다. 1점부터 10점까지 숫자를 매기게 하는 대신 “둘 중 어느 안을 보내겠습니까?”라고 묻는 방식이 훨씬 더 일관되고 쓸모 있는 데이터를 만들어 낼 수 있습니다.

앞으로 증명되어야 할 과제들

Crosby가 내세운 작업 효율과 처리 시간 단축 수치는 모두 회사가 자체적으로 통제된 환경에서 측정한 수치라는 점을 고려해야 합니다. 실제 다양한 조건의 외부 업무 환경에서도 같은 수준의 시간 절감이 유지되는지는 더 지켜볼 필요가 있습니다.

또한 현재는 변호사가 모든 결과물을 일일이 검토하고 있기 때문에, 계약 처리량이 늘어날수록 변호사 인건비도 함께 증가하는 구조입니다. 보험에 가입한 에이전트가 변호사의 최종 검토 없이도 온전히 계약을 처리할 수 있는지는 아직 입증되지 않았습니다. Bloomberg Law는 그러한 인공지능 전용 보험이 실제로 어떤 사고까지 보장해 줄 수 있을지에 대해 변호사들과 규제 기관들이 여전히 의문을 품고 있다고 지적했습니다.

마지막으로 Crosby가 다루는 업무는 주로 기술 회사들 사이에서 오가는 표준적인 상업 계약에 집중되어 있습니다. 인수합병(M&A)처럼 이해관계가 첨예하고 변수가 많은 고난도 법률 분야에서도 이러한 에이전트 중심의 협업 모델이 통할 수 있을지는 아직 증명되지 않았습니다.

---

출처

1. Crosby — How we do evals at Crosby — https://crosby.ai/blog/how-we-do-evals-at-crosby — 2026-10-06
2. Crosby — Scaling Legal Judgment — https://crosby.ai/blog/scaling-legal-judgment — 2026-10-19
3. Crosby — Introducing the Crosby Intelligence Fellows — https://crosby.ai/blog/introducing-the-crosby-intelligence-fellows — 2026-10-13
4. Crosby — Series B and Planting our Flag — https://crosby.ai/blog/series-b-planting-our-flag — 2026-03-31
5. Crosby — Series A and Smarter Agreements, Faster — https://crosby.ai/blog/series-a-and-faster-agreements — 2025-10-08
6. Crosby — Introducing Crosby, the world’s first hybrid law firm — https://crosby.ai/blog/introducing-crosby-the-worlds-first-hybrid-law-firm — 2025-06-17
7. Crosby — homepage — https://crosby.ai — 2026-10-22 확인
8. Crosby — Cursor case page — https://crosby.ai/cursor/ — 2026-10-22 확인
9. Sequoia Capital — Deal Velocity, Not Billable Hours: How Crosby Uses AI to Redefine Legal Contracting (Training Data podcast) — https://sequoiacap.com/podcast/training-data-crosby — 2025-09-02
10. Artificial Lawyer — The Crosby Story – With Co-founder, Ryan Daniels — https://www.artificiallawyer.com/2026/06/18/the-crosby-story-with-co-founder-ryan-daniels/ — 2026-06-18
11. Artificial Lawyer — Crosby to Insure Its Agents for Legal Liability — https://www.artificiallawyer.com/2026/07/28/crosby-to-insure-its-agents-for-legal-liability/ — 2026-07-28
12. Bloomberg Law — AI Agent Insurance Points to Future of Law Without Lawyers — https://news.bloomberglaw.com/legal-ops-and-tech/ai-agent-insurance-points-to-future-of-law-without-lawyers — 2026-08-03
13. Contrary Research — Crosby — https://research.contrary.com/company/crosby — 2026-10-14