버스 100대를 맡게 된 운전사의 하루

버스 운전을 생각해보자. 원래는 기사 한 명이 버스 한 대를 몰았다. 근무 시간의 대부분은 단조롭고 지루하다. 같은 길을 돌고, 정류장에 섰다가, 다시 신호를 기다린다. 아주 드물게 위험한 일이 생긴다. 갑자기 다른 차가 끼어들거나, 눈길에 미끄러지거나, 승객이 넘어진다. 그래도 그때 기사는 운전대 앞에 앉아 있다. 길바닥이 얼마나 미끄러운지, 앞차가 어떻게 움직이는지, 차 안 분위기가 어떤지 이미 온몸으로 느끼고 있기에 반사적으로 대처할 수 있다.

그러던 어느 날 회사에 자율주행 버스가 들어온다. 기사는 더 이상 운전석에 앉지 않는다. 사무실로 출근해 화면을 보며 버스 100대를 관리한다. 버스가 제 힘으로 풀지 못하는 상황에 부딪히거나 긴급 사태가 벌어지면, 원격으로 그 버스에 접속해 문제를 해결하는 일이 새로 맡은 업무다.

회사로서는 막대한 인건비를 줄였으니 대성공이다. 겉으로만 보면 기사에게도 좋아 보인다. 근무 시간은 그대로인데 날씨 영향도 안 받고, 덜컹거리는 도로 대신 쾌적한 사무실에서 일하면 되니 근무 환경이 훨씬 나아진 것 같다.

하지만 실상은 정반대다. 기사는 전에 없던 극심한 스트레스에 시달린다. 나는 AI를 도입한 뒤 많은 실무자가 겪는 현실이 딱 이 버스 기사의 처지와 같다고 느낀다. 편해졌다는 말 뒤에 숨겨진, 실무자만의 고통에 대해 이야기해보고자 한다.

지루함 속에 숨은 팽팽한 긴장

기사의 하루는 겉보기에 평온하다. 화면 속 100대의 버스는 대체로 알아서 잘 달린다. 진짜 문제는 사고가 언제 어디서 터질지 모른다는 데 있다. 기사는 여덟 시간 내내 긴장을 풀 수 없다. 직접 운전할 때의 지루함은 손발이라도 바쁘게 놀리는 지루함이었지만, 지금의 지루함은 언제 터질지 모를 폭탄을 기다리는 지루함이다.

사람의 뇌는 이런 감시 업무에 취약하다. 2차 세계대전 당시 영국 공군은 레이더 관측병이 근무 막바지에 신호를 놓치는 이유를 규명하고자 했다. 심리학자 노먼 맥워스(Norman Mackworth)는 시곗바늘이 불규칙하게 두 칸씩 건너뛰는 장치를 고안해 실험했다. 결과는 뚜렷했다. 관측자들은 30분만 지나도 그 드문 신호를 놓치기 시작했다. 아무 일도 없는 화면을 하염없이 바라보다 드물게 발생하는 사건을 잡아내는 일은, 인간의 주의력이 가장 버티기 힘든 노동이다.

그런데 기사는 바로 그 드문 순간에 단 한 번도 실수해서는 안 된다.

맥락을 잃어버린 채 떠맡는 난제

어디선가 경보가 울린다. 73번 버스에 비상이 걸렸다. 기사는 당황한다. 그 버스가 방금 전까지 어떤 길을 달리고 있었는지, 바깥 날씨는 어떤지, 승객이 얼마나 탔는지 알지 못한다. 방금 전까지 다른 버스들을 지켜보느라 정신이 분산되어 있었기 때문이다. 직접 몰 때는 상황 속에 들어가 있었기에 앞뒤 맥락을 쥐고 있었다. 지금은 상황 파악도 안 된 상태에서 모니터를 띄우고, 자율주행 시스템조차 두 손 든 난제를 순식간에 풀어내야 한다.

인지심리학자 리잔 베인브리지(Lisanne Bainbridge)는 1983년에 발표한 논문에서 이를 ‘자동화의 아이러니(Ironies of Automation)‘라고 불렀다. 자동화는 일상적이고 쉬운 일부터 앗아간다. 결국 사람 손에는 시스템이 해결하지 못하는 가장 까다롭고 거친 문제만 남는다. 정작 사람은 평소에 손을 떼고 있었으니 현장 감각이 무뎌진 상태다. 시스템이 정교해질수록 사람이 개입할 일은 줄어들고, 역설적으로 개입할 일이 줄어들수록 사람은 그 위기 상황을 감당하기 힘들어진다. 40여 년 전의 이 경고는 지금 AI 시스템을 원격 관리하는 실무자들이 매일 겪는 현실이다.

잘되면 시스템 덕, 망치면 사람 탓

99대의 버스가 무사히 운행을 마쳤을 때, 회사는 자율주행 기술의 탁월함을 칭찬한다. 그 뒤에서 온종일 긴장 속에 버스를 지켜본 기사의 노고는 화면 밖으로 밀려난다. 하지만 단 한 대의 버스가 사고를 내면 모든 시선이 기사에게 쏠린다. 왜 제때 원격 제어를 하지 못했느냐고 책임을 묻는다.

기술사회학자 매들린 클레어 엘리시(Madeleine Clare Elish)는 이 같은 현상을 ‘도덕적 크럼플 존(moral crumple zone)‘이라는 개념으로 설명했다. 자동차 앞부분의 크럼플 존이 충돌할 때 찌그러지며 탑승자를 보호하듯, 자동화 시스템에서는 사고가 났을 때 기계 옆에 있던 사람이 먼저 찌그러지며 시스템의 흠집을 가려준다는 뜻이다. 그 사람이 기계를 통제할 수단이 실질적으로 얼마나 있었는지는 고려되지 않는다.

2018년 미국 애리조나주 템피에서 발생한 우버 자율주행 시험 차량의 보행자 사망 사고가 대표적이다. 미국 교통안전위원회(NTSB)는 안전 운전자가 휴대전화를 보느라 전방 주시를 게을리한 점을 사고의 직접 원인으로 꼽았다. 그러면서도 우버 조직 내의 부실한 안전 문화와, 운전자가 방심 상태에 빠지는 이른바 ‘자동화 안일함(automation complacency)‘을 방지할 장치가 없었다는 점 역시 사고의 원인으로 함께 지목했다. 하지만 검찰은 우버를 기소하지 않았다. 운전자만 재판에 넘겨졌고 몇 년 뒤 유죄를 인정했다. 운전자의 잘못을 감싸려는 게 아니다. 사람에게 끝없는 감시만을 요구하며 안일함에 빠지도록 방치한 시스템의 구조적 결함까지 오롯이 노동자 개인이 짊어졌다는 점을 봐야 한다.

지식 노동 현장에 차려진 원격 관제실

버스 기사 이야기는 필자의 상상으로 만들어진 사례에 불과하다. 하지만 오늘날 지식 노동 현장 곳곳에 이미 원격 관제실이 들어서 있다. 개발자는 코드를 처음부터 짜기보다 AI 코딩 도구들이 쏟아낸 수정 사항을 검토하느라 진을 뺀다. 고객지원 담당자는 AI가 씨름하다가 실패해 화가 머리끝까지 난 고객의 문의만 넘겨받는다. 마케터는 AI가 마구 뽑아낸 수십 편의 초안 속에서 그럴듯하게 섞인 오류를 가려낸다. 다들 조용한 모니터 앞에 앉아 언제 터질지 모를 결함을 기다리다, 맥락도 없이 가장 골치 아픈 일만 넘겨받는다. 잘 돌아가면 기술의 성과가 되고, 탈이 나면 검토를 소홀히 한 실무자의 실수가 된다.

여기에 더해, 일을 매듭지었을 때 느끼는 보람도 사라진다. 예전에는 기획서 한 편을 내 손으로 끝맺었고, 프로그램 기능 하나를 밤새워 구현했으며, 버스를 몰아 승객을 종점까지 데려다주었다는 성취감이 있었다. 지금 실무자의 하루는 남이 만들어 둔 결과물에서 흠집을 찾는 뒷수습으로 채워진다. 업무량이 줄어든 것이 아니라 일하는 방식이 기형적으로 바뀐 것이며, 이런 방식은 사람의 마음을 빠르게 갉아먹는다.

관리자가 해야 할 고민

이 고통은 실무자가 마음을 다잡는다고 풀리지 않는다. 개인이 나약해서가 아니라 일의 구조 자체가 뒤틀려 있기 때문이다. 시스템을 설계하고 지휘하는 관리자들이 먼저 판을 바꿔야 한다.

인건비가 아니라 사람의 한계를 기준으로 업무를 맡겨야 한다. 기사 한 명이 버스 100대를 맡는 구조는 사람의 인지 한계가 아니라 회사가 줄이고 싶은 비용에 맞춘 숫자다. 적정 규모는 업무 성격마다 다르겠지만, 최소한 한 사람이 주의를 놓치지 않고 안정적으로 대응할 수 있는 선에서 정해야 한다. 시스템이 걸러낼 수 있는 단순 알림은 최대한 쳐내고, 정말 사람이 판단해야 할 핵심 경보만 전달해야 실무자가 지치지 않는다.

문제가 터진 뒤에 넘기지 말고 조짐이 보일 때 넘겨야 한다. 시스템이 버티다 못해 사고 직전에 제어권을 던지는 건 사람에게 도움을 구하는 게 아니라 실패의 책임을 떠넘기는 짓이다. 시스템이 확신을 잃어가는 단계에서부터 미리 신호를 주어야 한다. 일을 넘길 때도 직전까지 무슨 일이 있었는지, 시스템이 무엇을 시도했고 어디서 막혔는지를 함께 보여주어야 한다. 실무자가 맥락을 쥐고 판단할 최소한의 여유를 주어야 한다.

사람이 직접 손을 쓰는 업무를 남겨두어야 한다. 베인브리지 역시 현장 감각을 지키는 방법으로 직접 해보는 경험을 꼽았다. 실무자가 감각을 잃지 않으려면 업무 중 일정 부분은 AI 없이 처음부터 끝까지 사람이 처리하도록 남겨두거나, 돌아가며 직접 일을 맡아야 한다. 이는 긴급 상황에 대응하는 능력을 길러줄 뿐 아니라, 일을 완수했다는 성취감을 지켜주는 길이기도 하다.

통제할 수 있었던 만큼만 책임을 물어야 한다. 실무자가 AI의 실수를 잡아내지 못했을 때, “왜 이걸 못 봤느냐”고 윽박지를 게 아니라 애초에 한 사람이 그 많은 빈틈을 혼자 다 막아낼 수 있었는지부터 점검해야 한다. 항공이나 의료, 시스템 운영 분야에서 사고가 났을 때 개인을 벌하기보다 시스템 설계의 결함을 먼저 파헤치는 이유가 여기에 있다. 반대로 사고를 사전에 막아낸 개입은 꼼꼼히 기록해 보상해야 한다. 99대의 버스가 제시간에 안전하게 달린 바탕에는 온종일 모니터를 응시하며 신경을 곤두세운 사람의 수고가 분명히 자리 잡고 있다.

장부에 보이지 않는 실무자의 하루

AI를 도입해 얼마나 성공했는지를 따질 때, 기업은 장부의 숫자부터 살핀다. 인건비를 얼마나 깎았는지, 일 처리 속도가 몇 배 빨라졌는지 같은 수치들이다. 하지만 그 장부에는 사무실 구석에서 100대의 버스를 홀로 지켜보며 긴장 속에 하루를 보내는 실무자의 고통이 적혀 있지 않다.

AI 기술을 조직에 들여놓았다고 해서 저절로 혁신이 완성되지 않는다. 그 도구를 감시하며 뒷감당을 떠안은 사람이 소진되지 않고, 감각을 잃지 않으며, 시스템의 실패를 혼자 덤터기 쓰지 않도록 일터를 가꾸는 일까지 마쳐야 온전한 전환이라 부를 수 있다.

참고 자료

Norman H. Mackworth, “The Breakdown of Vigilance during Prolonged Visual Search”, Quarterly Journal of Experimental Psychology 1 (1948)
https://doi.org/10.1080/17470214808416738
Lisanne Bainbridge, “Ironies of Automation”, Automatica 19(6) (1983)
https://doi.org/10.1016/0005-1098(83)90046-8
Madeleine Clare Elish, “Moral Crumple Zones: Cautionary Tales in Human-Robot Interaction”, Engaging Science, Technology, and Society 5 (2019)
https://estsjournal.org/index.php/ests/article/view/260
NTSB, 템피 우버 자율주행 시험 차량 보행자 사고 조사(HWY18MH010)
https://www.ntsb.gov/investigations/Pages/HWY18MH010.aspx
NPR, “Backup driver of an autonomous Uber pleads guilty to endangerment in pedestrian death” (2023-07-28)
https://www.npr.org/2023/07/28/1190866476/autonomous-uber-backup-driver-pleads-guilty-death