AX Field Notes

전체 사례No. 053

영국 노동연금부의 코파일럿 검증

비사용자와 비교해 밝혀낸 하루 19분의 절감 효과

사례 번호
053
1차 출처
Government evaluation report
원문 게시
2026-01-29

요약

  • 영국 노동연금부가 본부 직원 3,549명에게 코파일럿을 도입하고 비사용자와 비교했습니다.
  • 유사 비사용자 대비 8개 일상 업무에서 하루 평균 19분 절감으로 추정되었고 시간은 다른 업무로 옮겨갔습니다.
  • 인공지능 도입 효과는 사용자 자체 보고에만 의존하지 않고 유사 비사용자와 비교해 검증해야 합니다.

왜 단순한 만족도 설문 대신 비사용자 집단을 함께 조사했는가

새로운 인공지능 도구를 전사에 배포했을 때 조직이 가장 먼저 묻는 질문은 명확합니다. 과연 투자한 비용만큼 직원들의 업무 시간이 실제로 줄어들었는가 하는 점입니다. 하지만 자원자 대상 시범 운영에서는 열의가 있는 사용자가 더 좋은 결과를 보고하면서 절감 효과가 과대평가될 가능성이 있습니다. 도입 효과를 정확하게 가려내려면 도구를 쓰지 않는 비슷한 동료와의 정밀한 비교가 반드시 필요합니다.

영국 정부 부처인 영국 노동연금부(DWP)는 2026년 1월 29일 영국 정부 공식 사이트(gov.uk)를 통해 마이크로소프트 365 코파일럿(Microsoft 365 Copilot) 시범 운영 평가 보고서를 공개했습니다. 이 보고서는 노동연금부 소속 경제학자 두 명과 사회연구자 한 명이 직접 작성했습니다. 앞서 영국 기업통상부나 정부디지털서비스 같은 정부 기관에서도 코파일럿을 평가한 적이 있었지만, 노동연금부의 설명에 따르면 그 조사들은 모두 비교군 없이 사용자들의 주관적 보고에만 의존했습니다.

노동연금부는 이 한계를 넘어서고자 했습니다. 향후 인공지능 도입과 예산 투자, 직원 교육, 정책 결정을 엄밀한 데이터에 기반해 추진하기 위해, 코파일럿 라이선스를 받지 못한 대규모 비교군을 설계에 포함했습니다.

현장 직원은 제외하고 12개 그룹에 배정했습니다

노동연금부의 시범 운영은 2024년 10월부터 2025년 3월까지 약 6개월 동안 진행되었습니다. 부처는 유료 라이선스 3,549개를 확보해 본부 부서 직원들에게 배정했습니다. 반면 구직자와 대면하는 잡센터(Jobcentre) 같은 대민 현장 직원은 이번 시범 운영 대상에서 완전히 제외되었습니다.

라이선스는 자원자와 동료 추천을 받아 선착순으로, 관리자 재량에 따라 지급되었습니다. 부처 전체의 여러 기능을 고르게 반영하기 위해 라이선스는 디지털, 정책, 재무 등 부처 기능에 맞춘 12개 라이선스 그룹으로 나누어 할당되었습니다. 시범 운영에 투입된 코파일럿은 조직 내부 문서와 이메일에 직접 연결되는 유료 기업용 버전이었습니다. 조직 데이터와 연동되지 않는 무료 버전은 시범 운영이 끝난 뒤인 2025년 4월에야 전 직원에게 배포되었으므로 이번 분석 대상에는 들어가지 않습니다.

실제 시스템 운영 단계에서는 이 12개 라이선스 그룹이 배정과 교육, 비교 대상 추출의 기본 단위로 함께 쓰였을 가능성이 높습니다. 부서별로 지정된 그룹에 직원을 등록하면 마이크로소프트 365 코파일럿 라이선스가 즉시 부여되고, 동시에 업무 협업 도구인 Teams 내부의 지원 채널과 지원 자료가 모인 SharePoint 사이트 권한이 한 번에 열리는 구조였을 것입니다. 한 참가자가 라이선스를 받자마자 Teams 채널에 초대되어 많은 정보를 얻었다고 회고한 점이 이를 뒷받침합니다.

대부분의 직원은 별도의 긴 강의를 듣기보다 직접 도구를 만져보며 기능을 익혔습니다. 설문에 응답한 라이선스 보유자 중 89퍼센트는 스스로 이것저것 시도해보며 사용법을 터득했고, 77퍼센트는 부처가 제공한 자료를 참고했습니다. 동료를 통해 배웠다는 응답도 61퍼센트였으며, 외부 인터넷 자료를 찾아본 비율은 56퍼센트였습니다. 초기에 도구에 적응한 직원들이 자연스럽게 사내 전파자가 되어 동료들에게 사용법을 시연해 주는 방식으로 활용법이 퍼져나갔습니다.

하루 19분이라는 숫자는 어떻게 계산되었는가

효과를 측정하기 위해 노동연금부는 라이선스를 가진 직원 3,549명 전원을 대상으로 설문을 진행했고 이 가운데 1,716명이 응답했습니다. 업무용 노트북에서 코파일럿을 실행할 수 없었던 세 명을 제외한 1,713명이 최종 분석 대상이 되었습니다. 이와 함께 라이선스가 없는 직원 9,300명을 표본으로 추출해 비교 설문을 보냈고 2,535명이 응답했습니다. 이때 비교군은 12개 라이선스 그룹과 직급 분포가 라이선스 보유자 집단과 가깝게 일치하도록 층화 무작위 추출 방식을 적용했습니다.

설문에 답한 라이선스 사용자의 약 90퍼센트가 코파일럿 덕분에 시간을 아꼈다고 응답했습니다. 하루 1시간 넘게 시간을 절약했다는 응답이 30퍼센트였고, 30분에서 60분을 아꼈다는 응답이 33퍼센트, 30분 미만이라는 응답이 27퍼센트였습니다. 설문 응답자의 95퍼센트는 코파일럿의 성능 전반에 만족한다고 답했습니다.

보고서는 계량경제학적 추정치가 사용자 자체 보고보다 대체로 더 보수적이라고 밝혔습니다. 노동연금부 연구팀은 시간 절약, 직무 만족도, 업무 품질이라는 서로 연관된 세 가지 결과를 한꺼번에 분석하는 회귀분석 기법인 SUR(Seemingly Unrelated Regression) 모형을 설계했습니다.

그 결과, 코파일럿 사용자가 비슷한 조건을 가진 비사용자에 비해 8가지 일상 업무에 걸쳐 아낀 시간은 하루 평균 19분으로 추정되었습니다. 95퍼센트 신뢰구간은 17분에서 22분이었습니다. 설문에서는 작업 시간대를 6개 구간으로 나누어 물어본 뒤 각 구간의 하한값으로 시간을 계산했습니다. 예를 들어 하루에 15분에서 30분을 썼다고 답하면 보수적으로 15분으로 기록한 것입니다. 보고서에서 업무 효율성은 8가지 일상 업무에 걸쳐 하루에 보낸 시간의 계산된 평균으로 정의되었습니다.

모형을 검증하는 과정에서 흥미로운 통계적 반전도 확인되었습니다. 아무런 통제 변수를 넣지 않았을 때 절감 시간은 하루 10분이었습니다. 직급, 성별, 나이, 부서 같은 인적·직무 특성을 차례로 반영해도 이 수치는 10분에서 12분 사이에 머물렀습니다. 그런데 평소 인공지능 도구에 얼마나 관심이 많은지를 통제 변수로 추가하자, 절감 효과 추정치가 갑자기 19분으로 크게 뛰었습니다.

노동연금부 경제학자들은 이 현상을 다음과 같이 설명합니다. 인공지능에 열의가 있는 사용자들은 코파일럿이 없더라도 해당 업무에 더 많은 시간을 쓸 가능성이 있으며, 이러한 특성을 통제하지 않으면 코파일럿의 효과 추정치가 더 작아 보일 수 있다는 것입니다. 실제로 자원과 동료 추천을 통해 라이선스를 받은 직원들은 일반 직원들에 비해 직급이나 소속 부서에서는 큰 차이가 없었지만, 인공지능에 대한 관심과 경험 수준에서는 현저하게 높은 성향을 보였습니다.

통제 변수 추가에 따른 하루 절감 시간
01020절감 시간(분)95% 신뢰구간10분11분19분통제 없음부서·직급·성별·나이·직무·건강 추가AI 관심추가AI 경험추가
AI 관심과 경험을 통제에 넣으면 하루 절감 시간 추정치가 19분으로 높아집니다. (출처: 영국 노동연금부)

회의 요약은 9분, 검색은 26분으로 나타난 업무별 격차

노동연금부가 측정한 8가지 일상 업무별 절감 시간은 코파일럿이 어디에서 가장 잘 작동하고 어디에서 한계를 보이는지 선명하게 보여줍니다. 통계 모형을 통해 추정된 업무별 하루 절감 시간은 다음과 같습니다.

가장 많은 시간을 아낀 분야는 기존 정보와 자료를 찾는 검색 작업으로 하루 26분이 절감되었습니다. 이메일 작성이 하루 25분, 정보나 연구 자료 요약이 24분, 문서 작성과 편집이 20분으로 그 뒤를 이었습니다. 회의 일정을 잡는 데서 19분, 자신이 쓴 글의 문법과 어조, 맞춤법을 점검하는 작업에서 17분, 데이터 분석과 코딩 작업에서 15분이 단축되었습니다. 반면 회의 녹취와 요약 작업에서 절감된 시간은 하루 9분으로 8개 업무 중 가장 작았습니다.

업무별 하루 절감 시간 추정치
전체 추정치 19분정보·자료 검색26분이메일 작성25분정보·자료 요약24분문서 작성·편집20분회의 일정 잡기19분자기 글 점검17분데이터 분석·코딩15분회의 녹취·요약9분← 19분보다 적음19분보다 많음 →
검색과 이메일 작성의 절감 효과가 가장 컸고 회의 녹취 요약이 가장 작았습니다. (출처: 영국 노동연금부)

회의 녹취와 요약은 실제 사용자들이 가장 많이 쓴 기능 가운데 하나였습니다. 설문에서도 응답자의 85퍼센트가 Teams 회의 요약 기능의 정확도를 좋음 또는 매우 좋음으로 평가했습니다. 한 인터뷰 참여자는 “회의록을 거의 수정할 필요가 없었습니다. 거의 완벽하게 정확하게 나옵니다.”라며 회의에 훨씬 더 집중할 수 있게 되었다고 말했습니다. 그럼에도 통계적으로 측정된 절감 시간이 9분에 그친 이유에 대해 보고서는 명확한 원인을 내놓지 않았습니다. 사용 빈도가 높고 체감 만족도가 뛰어난 기능이라고 해서, 반드시 물리적으로 가장 많은 업무 시간을 덜어주는 것은 아니라는 점을 보여주는 결과입니다.

반대로 문서와 이메일 초안 작성에서는 효율이 두드러졌습니다. 한 직원은 “필요한 핵심 정보만 뽑아낸 뒤 코파일럿에게 소통 문구를 작성하게 합니다.”라고 설명했습니다. 민감하거나 복잡한 내용을 전달할 때 적절한 어조로 글을 다듬는 데 큰 도움을 받았습니다.

자료 검색 역시 코파일럿의 강점이 드러난 분야였습니다. 코파일럿은 SharePoint 라이브러리와 개인 OneDrive에 저장된 문서를 찾고 이메일을 검색했습니다. 다만 일부 사용자는 검색이 프롬프트의 전체 내용 대신 키워드 일치에 기반해 관련 없는 결과를 가져오기도 한다고 지적했습니다. 사전에 정돈된 지식 저장소가 아니라 개별 직원이 접근할 수 있는 기존 사내 문서를 바탕으로 작동했기 때문일 것이라는 추정이 가능합니다.

반면 데이터가 많이 들어가는 업무에서는 기능적 한계가 지적되었습니다. 사용자들은 특히 엑셀에서, 그리고 그보다는 덜하지만 파워포인트에서도 한계가 있음을 언급했습니다. 코파일럿은 복잡한 데이터셋 해석, 도표 생성, 정교한 서식 관리 등 데이터 중심의 작업에서 어려움을 겪는 것으로 나타났습니다.

아낀 시간은 어디로 가고 사람의 역할은 어떻게 남았는가

하루 19분의 시간이 생겼을 때, 직원들의 업무는 어떻게 달라졌습니까. 인터뷰 참가자들은 코파일럿이 전체적인 업무량을 줄여주기보다는 행정 업무를 더 빠르게 완료하도록 도와, 다른 업무에 집중할 수 있는 여유 역량을 확보해주었다고 설명했습니다.

아낀 시간의 활용에 관한 질문에 답한 1,541명 가운데 89퍼센트는 절약된 시간을 다른 업무를 처리하는 데 썼다고 응답했습니다. 약 60퍼센트는 업무의 품질을 높이거나 다음 계획을 미리 세우는 일에 시간을 활용했습니다. 확보된 역량은 프로젝트 수행, 전략 기획, 고위 간부 지원 같은 업무로 이동했습니다. 일부 직원은 동료에 대한 의존을 줄임으로써 자신의 시간뿐 아니라 동료의 시간도 함께 아낄 수 있었다고 말했습니다.

직무 만족도와 업무 품질에 대한 평가도 긍정적이었습니다. 7점 척도로 측정한 주관적 지표에서 직무 만족도는 비사용자 대비 0.56점 상승했고, 업무 품질에 대한 스스로의 평가는 0.49점 올랐습니다. 두 수치 모두 중간 수준의 개선 효과로 분류됩니다.

하지만 이 과정에서 사람의 검토 부담이 사라진 것은 아니었습니다. 노동연금부 직원들은 코파일럿이 내놓은 결과물을 그대로 최종 문서에 쓰지 않고 항상 검토와 수정 과정을 거쳤습니다. 이것은 불신 때문이라기보다는 공공 부문 실무자로서 최종 결과물에 책임을 져야 한다는 직업적 책임의식 때문이었습니다.

더욱이 여러 참가자는 부처 지침에 따라 노동연금부의 내부 데이터나 기밀 데이터를 코파일럿에 입력하는 데 주의를 기울였습니다. 데이터 경계는 기술적인 차단 장치보다는 지침과 개별 직원의 신중한 판단을 통해 유지되었을 것으로 추정됩니다.

일부 사용자에게는 이 검증 작업이 오히려 새로운 짐이 되기도 했습니다. 코파일럿이 만든 초안을 일일이 대조하고 교정하느라 시간을 다 써버려, 결과적으로 절약된 시간이 상쇄되었다는 의견도 있었습니다. 한 인터뷰 참여자는 “처음부터 직접 손으로 작업하는 편이 더 나았겠다는 생각이 들었습니다.”라며 추가 검증 단계에서 오는 피로감을 토로했습니다.

도입을 고민하는 조직이 이 결과에서 읽어야 할 교훈

영국 노동연금부의 시범 운영 평가는 인공지능 비서 도입을 준비하거나 검토 중인 기업 리더들에게 중요한 기준점을 제시합니다.

첫째, 자체 보고와 비교 추정치가 서로 다른 측정 방식이라는 점을 보아야 합니다. 라이선스 보유자의 30퍼센트는 하루 1시간 넘게 아꼈다고 답했지만, 유사한 비사용자와 비교하고 각 구간 하한값을 적용해 8가지 일상 업무에 걸쳐 추정한 수치는 하루 평균 19분이었습니다. 보고서는 계량경제학적 추정치가 자체 보고보다 대체로 더 보수적이라고 밝혔습니다.

둘째, 인공지능을 적극적으로 반기는 직원들의 성향을 분석 모형에서 분리해야 합니다. 보고서는 인공지능에 열의가 있는 직원들이 도구가 없더라도 해당 업무에 더 많은 시간을 보낼 수 있다고 설명합니다. 이 특성을 통제하지 않으면 인공지능 도구의 기여도를 과소평가하거나, 반대로 일부 얼리어답터의 열광에 휩쓸려 전사 배포를 섣부르게 판단할 위험이 있습니다.

셋째, 노동연금부 시범 운영에서 확인된 변화는 업무 역량의 이동이었습니다. 시간 활용 질문에 답한 1,541명 중 89퍼센트는 아낀 시간을 다른 업무에 사용했다고 밝혔으며, 확보된 역량은 프로젝트 수행, 계획 수립, 고위 간부 지원 등으로 옮겨갔습니다. 보고서는 인력이나 비용에 관한 수치를 일절 발표하지 않았습니다.

마지막으로 도구의 완성도 못지않게 사후 검증 비용을 계산에 넣어야 합니다. 코파일럿은 회의 요약과 이메일, 문서 초안 작성에는 뛰어났지만, 엑셀이나 데이터 기반 작업에는 약했습니다. 무엇보다 결과물을 사람이 다시 확인하고 교정하는 과정이 필수적으로 수반됩니다. 이 검토 비용이 커지면 일부 업무에서는 도구를 쓰지 않고 처음부터 사람이 작업하는 것보다 비효율적인 상황이 발생할 수 있습니다.

이번 노동연금부 조사는 몇 가지 명확한 한계를 지니고 있습니다. 연구자가 외부 기관이 아닌 부처 내부의 분석가들이었고, 직원들을 무작위로 배정해 라이선스를 준 실험이 아니었습니다. 도입 전의 기준 측정치가 없었으며, 절감된 시간 역시 컴퓨터 로그 기록이 아닌 응답자의 회고적 설문 답변을 기초로 모델링되었습니다. 또한 이 보고서에는 라이선스 도입 비용이나 인원 변화 수치는 포함되지 않았습니다.

그럼에도 불구하고 대규모 비사용자 집단을 대조군으로 삼아 코파일럿의 효과를 실증적으로 측정한 노동연금부의 시도는 인공지능 도입의 현실을 보여주는 보기 드문 지표입니다. 이번 시범 운영에서 노동연금부는 유사한 비사용자와 비교해 8개 일상 업무에 걸쳐 하루 평균 19분의 절감 효과가 발생한 것으로 추정했습니다. 그리고 그 절약된 시간을 가치 있는 일로 바꾸는 몫은 여전히 꼼꼼하게 결과물을 검토하고 다음 계획을 세우는 사람의 손에 남아 있습니다.


출처