풀 리퀘스트에서 일을 시작하는 Cognition

핵심

• 티켓에 라벨이 붙거나 오류 로그가 뜨면 사람이 보기 전에 에이전트가 조사를 시작합니다.
• 엔지니어는 백지에서 코드를 짜지 않고 에이전트가 올린 풀 리퀘스트를 검토하며 일을 시작합니다.
• 좌석 수가 아니라 쓴 양으로 돈을 받고, 기업 고객에게는 추정 엔지니어 시간에 묶인 보증을 겁니다.

코딩 에이전트 회사는 자기 제품을 어떻게 다루는가

소프트웨어 개발팀의 하루는 길고 복잡한 수작업의 연속입니다. 고객 문의나 장애 경보가 들어오면 엔지니어가 시스템 로그를 훑고, 데이터베이스를 조회해 원인을 찾은 뒤 코드를 고치고 테스트를 돌립니다. 그 후 동료 개발자에게 변경된 코드 묶음인 풀 리퀘스트(pull request)를 올려 검토를 부탁합니다. 이 과정에서 병목은 언제나 코드를 작성하고 검토하는 사람의 손에 있었습니다.

Cognition은 클라우드에서 돌아가는 코딩 에이전트 Devin을 만듭니다. 엔지니어링 팀이 티켓, 버그 리포트, 풀 리퀘스트 리뷰를 맡기면 Devin은 스스로 풀 리퀘스트를 엽니다. Devin이 겨냥하는 일은 버그 수정, 테스트 작성, 오래된 코드 이전, 문서 갱신, 변경 사항 검토와 같은 소프트웨어 엔지니어의 일상 업무입니다. 고객에는 대기업과 시스템 통합 업체가 포함되며, Cognition은 2026년 9월에 연환산 매출 10억 달러를 넘었다고 밝혔습니다.

이 회사는 2024년 3월 첫 공개 글에서 CEO인 Scott Wu의 말을 통해 자신들을 “추론에 집중하는 응용 AI 연구소”로, Devin을 “첫 번째 AI 소프트웨어 엔지니어”로 규정했습니다. 회사가 밝힌 창업 시점은 2024년 1월이며, Wikipedia에는 2023년으로 기록되어 있습니다. 엔지니어들은 시작부터 Devin을 사용해 Devin을 만들어 왔다고 말합니다.

다만 이 조직을 살펴볼 때 짚고 넘어가야 할 사실이 있습니다. Cognition은 처음부터 조직 전체를 에이전트로만 굴리기 위해 세워진 회사가 아니라는 점입니다. 자체 엔지니어링에서 Devin이 맡는 비중은 시간이 지나며 커졌습니다. 또한 에이전트를 중심으로 일하는 부서는 전체가 아니라 엔지니어링 팀입니다. Cognition에 따르면 2025년 7월 AI 코드 에디터 기업인 Windsurf를 인수하기 전 44명이던 직원은 1년 뒤 350명으로 늘어났습니다. 이 인수로 Windsurf의 인력이 합류했습니다. 회사는 당시 Cognition에는 제품을 판매할 영업 조직이 필요했고 Windsurf에는 엔지니어링 역량이 필요했다고 밝혔습니다. 오늘날 이 회사 인력의 상당수는 제품을 판매하고 고객을 지원하는 업무를 맡고 있습니다.

사람이 개입하기 전에 에이전트가 조사를 끝내는 방식

Cognition은 2026년 2월 How Cognition Uses Devin to Build Devin이라는 글에서 내부 일하는 방식을 자세히 공개했습니다. 이들의 기본 원칙은 “Devin을 팀원처럼 대하라”입니다. 이들의 일은 크게 네 단계로 나뉩니다.

첫 번째는 일의 배정입니다. 핵심은 에이전트가 일이 생겨나는 바로 그 길목에 들어가 있다는 점입니다. 엔지니어들은 웹 앱, Slack, Linear, Jira, 커맨드라인 도구, 전용 API 등 여섯 가지 경로로 Devin을 부릅니다. 일상적인 메신저인 Slack 스레드나 업무 관리 도구인 Linear의 티켓에서 Devin을 태그하고 파일을 첨부해 대화를 나눕니다.

어떤 작업은 사람의 손을 전혀 거치지 않고 시작됩니다. 시스템 오류를 추적하는 Sentry 같은 도구가 비정상 종료 로그나 버그 리포트, 배포 실패 신호를 감지해 곧바로 Devin 세션을 가동합니다. 예를 들어 Linear 티켓에 Bug라는 라벨이 붙으면 !triage-bug라는 저장된 규칙이 자동으로 실행됩니다. Devin은 관련 코드를 찾고, 버전 관리 기록인 git 기록과 모니터링 시스템인 Datadog의 로그를 검토한 뒤 유력한 원인과 영향을 받는 파일, 수정 제안을 티켓에 댓글로 남깁니다. Cognition은 이렇게 저장된 절차를 Playbooks라고 부릅니다. Playbooks는 목표, 구체적 실행 단계, 완료되었을 때 시스템이 만족해야 할 조건, 그리고 에이전트가 절대 해서는 안 되는 금지 사항을 미리 적어 둔 재사용 지침입니다.

실제 서비스에서 발생하는 버그의 경우 Devin은 더 깊숙이 들어갑니다. 로그를 수집하고, 데이터베이스의 읽기 전용 복제본을 조회하며, 어떤 코드 커밋이 시스템을 망가뜨렸는지 찾아냅니다. 그런 다음 과거의 잘못이 재발하지 않도록 막아 주는 회귀 테스트 코드와 함께 버그 수정 코드를 작성해 풀 리퀘스트를 직접 등록합니다. Cognition은 이 방식을 두고 “우리는 로그가 아니라 풀 리퀘스트를 검토한다”고 표현합니다. 엔지니어가 원인 분석에 들이던 시간을 에이전트가 앞서 처리하는 것입니다.

두 번째는 검토입니다. 에이전트가 작성한 코드는 에이전트가 먼저 검토하고 사람은 마지막 판단만 내립니다. 모든 풀 리퀘스트는 Devin Review를 거치도록 설계되어 있습니다. 이 시스템은 사람이 한눈에 파악하기 힘든 거대한 코드 변경 사항(diff)을 위에서 아래로 순서대로 읽기 쉽게 재배열하고, 버그일 가능성이 높은 지점을 찾아 신뢰도 점수를 붙여 표시합니다. 회사는 이 표시가 확정된 판정이 아니라 참고용 정보라고 밝힙니다.

그 뒤 Autofix 기능이 작동합니다. 이 기능은 에이전트가 지적된 버그와 실패한 지속적 통합(CI, 코드를 합칠 때 자동으로 빌드와 테스트를 돌려 결함을 잡는 환경) 검사, 그리고 코드 스타일을 자동으로 잡아내는 lint 검사를 통과할 때까지 스스로 코드를 고치게 만듭니다. 2026년 2월 글에 따르면 이 자동 수정 고리를 돌리면서 “Devin에 쓰는 내부 토큰 사용량이 엄청나게 늘어났다”고 합니다. 그 결과 “사람의 역할은 판단력이 필요한 결정으로 좁혀진다”고 설명합니다. 2025년 11월에 나온 성과 평가 글을 보면, 사람 엔지니어는 여전히 코드를 검토하고 Devin이 작성한 테스트의 논리를 살피며, 해당 코드의 최종 책임자(code owner)가 테스트 커버리지를 직접 확인합니다.

테스트 과정도 비슷한 분업 구조를 따릅니다. 2026년 5월 글에서 한 엔지니어는 소스 코드를 바탕으로 Devin이 직접 테스트 계획을 세우는 테스트 모드를 설명했습니다. 정해진 스크립트를 통해 앱에 로그인하고, 사용자가 누르는 화면 흐름을 그대로 클릭해 본 뒤 스크린샷과 녹화 영상을 결과로 제출합니다. 각각의 검사 항목에는 통과, 실패, 미검사 표시가 붙습니다. 엔지니어들은 이 방식으로 각자 독립된 개발 서버를 가진 Devin을 10개에서 20개까지 동시에 띄워 두고 테스트를 돌렸습니다. 사람은 시스템 접속에 필요한 비밀값(secrets)을 넣어 주거나 일회용 로그인 인증 번호(OTP)를 대신 입력해 줄 때만 잠깐 개입합니다.

세 번째는 이미 제품에 합쳐진 코드를 사후 점검하는 감사입니다. Devin은 매일 아침 지난 24시간 동안 머지된 풀 리퀘스트 전체를 훑습니다. 코드에 직접 적힌 색상 값이나 어색한 간격, 공용 디자인 라이브러리에서 가져와야 하는데 임의로 만든 컴포넌트가 없는지 확인하기 위해서입니다. 문제를 발견하면 Linear 티켓을 만들고, 필요하면 수정용 풀 리퀘스트까지 올립니다. 이 밖에도 Session Insights 기능은 작업이 끝난 에이전트 세션을 뒤돌아보며 다음번에 더 좋은 지시문(프롬프트)을 쓰는 방법을 제안합니다. 또한 엔지니어링 팀은 에이전트 가이드에 따라 개발자들이 자주 저지르는 실수 목록을 따로 정리해 두고, lint 규칙을 일일이 짜는 대신 에이전트가 새 풀 리퀘스트를 그 목록과 대조해 감시하도록 만듭니다.

네 번째는 개발자의 역할 변화입니다. 코드를 치는 일에서 코드를 검토하는 일로 중심축이 옮겨갔습니다. 2026년 2월 글에서는 “에이전트로 더 많은 코드를 배포함에 따라 병목은 코드를 작성하는 일에서 코드를 검토하는 일로 옮겨갔다”고 진단했습니다. 또한 가이드에서는 “오늘날 우리 팀의 엔지니어는 여러 시스템을 동시에 감독해야 한다”고 명시합니다. 엔지니어가 아닌 직군도 코드 버전 관리 도구인 Git 명령어를 배우지 않고 Devin에게 코드 변경을 요청할 수 있게 되었습니다. 데이터 분석가 역할을 하는 Devin 변형인 DANA는 Slack 안에서 /dana 명령어로 지표를 묻는 질문에 그래프와 그 바탕이 된 SQL 쿼리를 함께 제공하며 답합니다.

채용 방식도 바뀌었습니다. Scott Wu는 2025년 8월 Cheeky Pint 팟캐스트에서 개발자 입사 지원자에게 “8시간 안에 자기만의 Devin을 직접 만들어 보라”는 과제를 준다고 밝혔습니다.

Cognition은 그동안 Devin이 내부에서 얼마나 일하는지를 나타내는 수치들을 공개해 왔습니다. 이 수치들은 각자 다른 대상을 측정하고 있습니다.

• 2025년 5월: Lenny’s Newsletter 인터뷰 쇼노트 요약에 따르면 엔지니어링 팀은 15명이었고, 엔지니어 한 명이 약 5개의 Devin과 함께 일했으며, 회사 전체 풀 리퀘스트의 25%를 Devin이 만들었습니다.
• 2025년 11월: Cognition 웹 애플리케이션에 반영된 커밋 중 약 3분의 1을 Devin이 작성해 올렸습니다.
• 2026년 2월: Cognition은 단 일주일 동안 Devin이 만든 풀 리퀘스트 659건을 코드베이스에 머지했습니다. 2025년 가장 높았던 주간 기록은 154건이었습니다.
• 2026년 5월: “엔지니어가 커밋한 코드의 89%를 Devin이 커밋”했으며, 나머지 코드는 Windsurf를 개편한 코드 에디터 Devin Desktop의 로컬 에이전트가 작성했습니다.
• 2026년 7월: Sourcery가 요약한 인터뷰에서 Scott Wu는 이 비율이 약 95%에 달한다고 말했습니다.

Cognition 내부 Devin 지표

회사는 Devin이 여전히 잘하지 못하는 한계도 숨기지 않습니다. 범위가 뚜렷하고 성공 여부를 검증할 기준이 분명한 작업에서 가장 좋은 결과가 나오며, 덩치가 큰 일은 잘게 쪼개서 쥐여 주어야 합니다. 실제 스마트폰 화면에서 작동을 시험하는 모바일 테스트는 수행하지 못합니다. 시각 디자인에 대해서도 한계가 분명합니다. Cognition은 “Devin은 제대로 작동하는 인터페이스를 만드는 데는 뛰어나지만, 그것을 아름답게 스타일링하는 것은 여전히 사람의 강점”이라고 밝히고 있습니다.

풀 리퀘스트에서 일을 시작하고 사용량으로 청구합니다

기존 소프트웨어 개발 방식과 Cognition 방식의 가장 결정적인 차이는 사람이 업무 파이프라인의 어느 지점에 서 있느냐에 있습니다.

일반적인 개발팀에서는 엔지니어가 티켓을 열고, 모니터링 화면을 보고, 코드를 한 줄씩 짠 뒤 마무리 단계에서 동료를 찾아가 코드 검토를 요청합니다. 사람이 모든 과정의 앞단에 서고 기계는 보조 도구로 쓰입니다. 반면 Cognition에서는 회사의 설명대로라면 때로는 사람이 보기도 전에 에이전트가 티켓을 먼저 열고, 두 번째 에이전트가 그 결과물을 검토하고 고칩니다. 사람은 원인 분석과 기초 코드가 이미 갖춰진 풀 리퀘스트 단계에 이르러서야 처음으로 작업에 들어옵니다. 엔지니어의 주의력은 문제를 정의하고, 변경 사항의 적절성을 평가하며, 무엇을 출시할지 결정하는 데 집중됩니다. Cognition은 제품 관점에서도 “이제 병목은 코드 작성이 아니라 코드 검토다”라고 말했습니다.

두 번째 차이는 코드가 통합된 뒤에도 감시가 멈추지 않는다는 점입니다. 보통의 조직에서는 바쁜 동료들이 검토 과정에서 디자인 규칙이나 코딩 스타일 위반을 미처 걸러내지 못해 기술 부채가 쌓이곤 합니다. Cognition은 전날 머지된 모든 코드를 매일 아침 에이전트에게 통째로 검사하게 하고, 놓친 부분을 알아서 작업 티켓으로 만들어 냅니다. 검토가 동료에게 아쉬운 소리를 하며 부탁하는 호의가 아니라, 에이전트가 매일 수행하는 상시적인 업무 체계로 바뀐 것입니다.

세 번째 차이는 반복 업무의 촉발 방식입니다. 버그 라벨을 달거나, 배포가 실패하거나, 비정상 종료가 보고되는 순간 사람이 손대지 않아도 사전 정의된 Playbooks에 따라 에이전트 세션이 즉각 시작됩니다. 반복되는 작업은 머릿속 기억에 의존하는 것이 아니라 한 번 잘 작성된 매뉴얼로 박제되어 기계적으로 돌아갑니다.

이러한 업무 철학은 요금 청구 방식에도 그대로 이어집니다. Cognition은 사용자 수에 따른 좌석 수가 아니라 실제 사용량을 기준으로 요금을 청구합니다. 셀프서브 요금제는 기본 사용량이 포함되어 있고 초과분은 기반 모델 비용에 맞추어 달러 단위로 매겨지며, 엔터프라이즈 요금제는 Agent Compute Units(ACU)라는 작업 연산 단위를 기준으로 청구됩니다.

나아가 2026년 6월부터는 기업 고객을 위한 생산성 보증 제도를 도입했습니다. 에이전트가 유용한 성과를 낸 Devin 세션마다 사람이 일했을 때 소요되었을 엔지니어링 시간을 자체 시스템으로 추정합니다. 연간 계약이 끝날 무렵 그 절감 가치가 고객이 지불한 비용보다 적다면 “Cognition이 최대 1,000만 달러 한도 내에서 사용량을 지원하겠다”는 약속을 내걸었습니다. 이 절감 시간 추정은 Cognition이 자체적으로 개발한 방식이며, 실제 사용자가 직접 라벨을 붙여 검증한 258건의 고객 세션 데이터와 대조해 검증했습니다.

검토 중심 조직과 다른 기업이 얻을 수 있는 교훈

만약 소프트웨어를 만드는 대부분의 조직이 에이전트를 도입한다면 기존 산업 지형에는 두 가지 큰 변화가 찾아올 수 있습니다.

첫째로, 소프트웨어 개발팀의 조직 구조가 코드 작성이 아니라 검토 중심으로 재편될 수 있습니다. 에이전트가 대부분의 코드를 쏟아내기 시작하면, 가장 귀한 역량은 코드를 빨리 치는 능력이 아니라 에이전트가 가져온 변경 사항의 오류를 빠르고 날카롭게 집어내는 판단력이 됩니다. Cognition 역시 쏟아지는 풀 리퀘스트를 사람이 다 읽지 못해 Devin Review를 도입해야 했습니다. 코딩 에이전트를 적극적으로 들여온 조직은 누구나 사람이 꼼꼼히 읽기 힘들 만큼 불어난 풀 리퀘스트의 홍수를 맞닥뜨릴 수 있습니다. TechCrunch가 보도한 인터뷰에서 Scott Wu는 “무엇을 해야 할지는 언제나 인간에게 달려 있어야 한다”고 강조했습니다. 기계가 코드를 아무리 많이 써내도 무엇을 서비스에 반영할지 고르는 최종 책임은 사람에게 남는다는 뜻입니다.

둘째로, 사용자 수에 따라 비용을 매기던 전통적인 소프트웨어 좌석 기반 요금제가 거센 도전을 받을 수 있습니다. 오랫동안 개발자 도구는 개발자 한 사람당 얼마라는 정액제 방식으로 팔렸습니다. 하지만 Cognition은 사용량을 기준으로 팔고, 대기업에는 에이전트가 대신해 준 사람 엔지니어의 시간 가치를 요금과 맞비교해 줍니다. 구매자들이 소프트웨어 비용을 지불할 때 실제 산출된 업무 성과와의 연결을 요구하기 시작한다면, 단순히 직원 머릿수대로 돈을 받아 온 소프트웨어 기업들은 자사 도구가 좌석마다 정확히 얼마만큼의 가치를 만들어내는지 입증해야 하는 처지에 놓일 수 있습니다.

다른 산업의 기업 경영자와 리더들이 Cognition의 운영 모델에서 배울 수 있는 실질적인 교훈은 다섯 가지로 정리할 수 있습니다.

• 일이 처음 들어오는 길목에 에이전트를 배치할 수 있습니다. 메신저 스레드, 업무 티켓, 모니터링 경보 시스템 등 일이 시작되는 지점에 에이전트를 심어 두면 사람은 태그 하나, 라벨 하나로 작업을 넘길 수 있습니다.
• 반복되는 업무를 명확한 지침으로 문서화할 수 있습니다. 분류와 조치 절차를 목표, 단계, 완료 조건, 금지 사항으로 나누어 Playbooks로 정리해 두면 매번 같은 수준의 작업 품질을 유지할 수 있습니다.
• 사람의 검토를 에이전트로 완전히 대체하지 않고, 사람 검토 바로 앞 단계에 에이전트를 둘 수 있습니다. 문법 오류나 기계적인 결함은 에이전트끼리 고치게 하고, 사람은 최종 승인과 전략적 판단에만 집중하게 만듭니다.
• 일이 끝난 뒤에도 정기적인 감사를 돌릴 수 있습니다. 검토자가 미처 보지 못하고 지나간 실수를 매일 아침 정기 점검 에이전트로 찾아내 작업 목록으로 환원할 수 있습니다.
• 사람에게 남겨야 할 고유 영역을 분명히 선을 그을 수 있습니다. 시각적 디자인 완성도, 사업적 최종 판단, 그리고 실제 물리적 기기를 직접 만져야 하는 테스트는 사람의 손에 남겨 두어야 합니다.

아직 증명되지 않은 것들

Cognition이 보여 준 성과와 일하는 방식은 인상적이지만, 이를 일반적인 기업 현장에 그대로 대입하기에는 몇 가지 주의해야 할 한계가 있습니다.

무엇보다 Cognition은 처음부터 에이전트 시스템 자체로만 운영하기 위해 세워진 회사가 아니라는 사실입니다. Devin을 만들면서 점진적으로 에이전트 의존도를 높여 온 조직이며, 현재 전체 직원 350명의 대다수는 2025년 여름 Windsurf를 인수하고 합병하는 과정에서 늘어났습니다. 이 인력의 상당수는 코드를 짜는 개발자가 아니라 제품을 세일즈하고 고객사를 지원하는 전통적인 인력으로 채워져 있습니다.

또한 공개된 업무 흐름의 세부 사항과 생산성 수치는 모두 Cognition 자체 발표와 CEO의 언론 인터뷰에 근거하고 있습니다. 엔지니어가 커밋한 코드의 89%나 95%를 Devin이 맡는다는 발표 뒤편에 실제 내부 엔지니어 수가 몇 명이나 존재하는지는 공개되지 않았습니다. Lenny’s Newsletter나 Sourcery의 인터뷰 수치 역시 녹취록 전문이 아닌 요약본에 실린 내용입니다. 아울러 공개된 수치들은 풀 리퀘스트 수, 특정 웹 앱의 커밋 수, 전체 커밋된 코드양 등 문맥마다 측정 대상이 달라 하나의 일관된 성장 추세선으로 이어 붙여 해석하기 어렵습니다.

마지막으로 Cognition은 자신들이 일하는 방식 그 자체를 소프트웨어 제품으로 포장해 파는 회사라는 점입니다. 자체 개발팀이 Devin을 얼마나 유용하게 쓰는지 소개하는 기술 블로그 글들은 기업의 일하는 방식을 증명하는 객관적인 보고서인 동시에, 기업 고객의 구매를 유도하기 위한 마케팅 콘텐츠의 성격을 함께 지니고 있습니다.

---

출처

1. Cognition — How Cognition Uses Devin to Build Devin — https://cognition.com/blog/how-cognition-uses-devin-to-build-devin — 2026-02-27
2. Cognition — Closing the Agent Loop: Devin Autofixes Review Comments — https://cognition.com/blog/closing-the-agent-loop-devin-autofixes-review-comments — 2026-02-10
3. Cognition — Verifying Agentic Development at Scale — https://cognition.com/blog/testing-development — 2026-05-29
4. Cognition — Devin’s 2025 Performance Review: Learnings From 18 Months of Agents At Work — https://cognition.com/blog/devin-annual-performance-review-2025 — 2025-11-14
5. Cognition — More Devins in More Places — https://cognition.com/blog/series-d — 2026-05-27
6. Cognition — One Year of Building Together — https://cognition.com/blog/one-year-of-building-together — 2026-07-14
7. Cognition — Cognition Crosses $1B in Annualized Revenue Run Rate — https://cognition.com/blog/1b-run-rate — 2026-09-25
8. Cognition — Introducing Devin, the first AI software engineer — https://cognition.com/blog/introducing-devin — 2024-03-12
9. Cognition — Devin Review: AI to Stop Slop — https://cognition.com/blog/devin-review — 2026-01-21
10. Cognition — AI should earn its keep: Introducing the AI Productivity Guarantee — https://cognition.com/blog/ai-guarantee — 2026-06-04
11. Cognition — Estimating the Productivity of an Autonomous AI Software Engineer — https://cognition.com/blog/ai-productivity — 2026-06-04
12. Cognition — New self-serve plans for Devin — https://cognition.com/blog/new-self-serve-plans-for-devin — 2026-04-14
13. Cognition — Coding Agents 101 (가이드) — https://devin.ai/agents101 — 2026-10-22 확인
14. Lenny’s Newsletter — Inside Devin (Scott Wu 인터뷰, 쇼노트) — https://www.lennysnewsletter.com/p/inside-devin-scott-wu — 2025-05-04
15. Cheeky Pint — Cognition CEO Scott Wu on acquiring Windsurf, AI replacing engineers, and the Moneyball-ification of everything — https://cheekypint.substack.com/p/cognition-ceo-scott-wu-on-acquiring — 2025-08-27
16. TechCrunch — Cognition’s Scott Wu says AI coding agents shouldn’t replace humans — https://techcrunch.com/2026/05/29/cognitions-scott-wu-says-ai-coding-agents-shouldnt-replace-humans/ — 2026-05-29
17. Sourcery — BREAKING: “Devin Writes 95% of Our Code” Scott Wu, CEO of Cognition (인터뷰 요약) — https://www.sourcery.vc/p/breaking-devin-writes-95-of-our-code — 2026-07-28
18. Wikipedia — Cognition AI — https://en.wikipedia.org/wiki/Cognition_AI — 2026-10-22 확인