Nippon Life, 면담 8,830건 채점

요약

• 10년 치 면담 기록 8,830건을 인공지능으로 다시 채점했습니다.
• 인공지능이 자사 발언을 후하게 해석하는 편향을 걸러내고 요청 10,000건 이상을 공시·재무 변화와 대조했습니다.
• 과거 정성 기록을 일관된 잣대로 계측해 향후 전략 수립의 근거로 삼을 수 있음을 보여줍니다.

10년 동안 쌓인 면담 기록은 과연 쓸모가 있었을까

기관투자자가 투자 대상 기업의 경영진을 만나 지배구조 개선이나 배당 정책, 친환경 경영을 요구하는 활동을 스튜어드십이라고 부릅니다. Nippon Life는 일본에서 가장 큰 생명보험사 가운데 하나로, 매년 약 700개에 이르는 투자 대상 기업과 이 같은 대화를 이어 왔습니다. 담당자 한 사람이 한 해에 도맡는 기업만 해도 100개 가까이에 이릅니다.

일본은 2014년 기관투자자용 스튜어드십 코드, 2015년 기업용 기업지배구조 코드를 도입해 지배구조 개혁에 속도를 냈고, Nippon Life는 10년 넘게 스튜어드십을 핵심 책무로 삼아 왔습니다. 인터뷰 영상에서 Tomochika Ishii 주식투자부 부장은 Nippon Life가 2014년에 스튜어드십 코드 수용을 표명한 뒤 체제를 강화하며 대화의 양과 질을 늘려 왔고, 연간 약 700개사라는 규모는 일본에서도 최대급일 것이라고 설명했습니다.

하지만 활동 규모가 커질수록 본질적인 질문이 뒤따랐습니다. 우리가 나눈 대화는 과연 상대 기업의 행동을 바꾸는 데 실질적인 영향을 주었을까, 아니면 의례적인 대화에 머물렀을까 하는 점이었습니다. 대화 주제는 처음의 지배구조나 재무 지표 중심에서 점차 환경과 사회 분야로 넓어졌습니다. 기록은 10년 동안 쉼 없이 쌓였지만, 그 수많은 정성적 기록을 사람이 하나하나 다시 읽고 일관된 기준으로 효과를 측정하기란 물리적으로 불가능에 가까웠습니다. 그저 담당자의 기억과 개별적인 인상에 기대어 효과가 있었을 것이라고 짐작할 뿐이었습니다.

글로벌 컨설팅 회사 Oliver Wyman이 공개한 고객 사례 보고서와 인터뷰 영상에 따르면, Nippon Life는 생성형 AI를 단순한 업무 자동화 수단이 아니라 과거 기록을 측정하는 도구로 쓰기로 결정했습니다. 지난 10년 동안 축적된 8,830건의 대화 기록을 동일한 잣대로 재평가하고, 기업에 전달했던 10,000건 이상의 지배구조 요청이 실제 기업의 공시나 재무적 변화로 이어졌는지를 인공지능을 통해 대조해 보기로 한 것입니다.

인공지능에게 질문을 던지기 전에 채점 기준부터 세우다

Nippon Life와 Oliver Wyman의 프로젝트는 크게 세 가지 질문을 확인하는 데 초점을 맞추었습니다. Oliver Wyman 도쿄 오피스의 파트너인 Yasuyuki Sekioka는 인터뷰 영상에서 Nippon Life의 대화 품질이 실제로 높았는지, 투자 대상 기업이 그 대화를 잘 받아들였는지, 그리고 그 결과 외부에서 관찰할 수 있는 기업의 행동 변화가 실제로 나타났는지를 객관적으로 검증하는 것이 목적이었다고 밝혔습니다. Nippon Life가 Oliver Wyman을 협력 상대로 택한 이유는 분명했습니다. 직전 2년 동안 스튜어드십 관련 프로젝트를 함께 진행하면서 회사의 활동 방식과 철학을 깊이 이해하고 있었고, 목표와 기준 수준을 이미 공유하고 있어 까다로운 과제에서도 실질적인 해법을 낼 수 있으리라 보았기 때문입니다.

분석의 첫걸음은 인공지능에게 Nippon Life의 투자 철학을 이해시키는 일이었습니다. 그런 다음 어떤 대화가 좋은 대화인지를 명확하게 정의했습니다. Nippon Life가 세운 기준에 따르면 좋은 대화란 ‘건설적이고, 구체적이며, 상대의 행동에 영향을 미칠 수 있는 대화’였습니다. 평가 기준이 확립되자 연구진은 300건의 면담 기록을 골라 파일럿 테스트를 진행하며 프롬프트(명령어)를 정교하게 다듬어 나갔습니다.

이 과정에서 예상하지 못했던 현실적인 걸림돌이 드러났습니다. 생성형 AI는 문맥을 파악하는 능력이 매우 뛰어납니다. 그런데 이 뛰어난 문맥 이해 능력 때문에 기록 속에 적힌 Nippon Life 담당자의 발언을 실제 문맥보다 더 긍정적이고 후하게 해석하는 경향을 보인 것입니다. 마치 채점관이 자기 팀 수험생의 짧은 대답 뒤에 숨은 의도까지 미리 짐작해 점수를 얹어 주는 것과 같았습니다. 프로젝트 팀은 표본 점검 단계에서 이런 사례를 걸러 냈습니다. 이렇게 여러 차례 수정을 거쳐 완성된 최종 프롬프트는 A4 용지 약 10장 분량에 달했습니다. Tomochika Ishii Nippon Life 주식투자부 부장은 대화 품질을 정밀하게 분석하는 이 단계에 프로젝트 전체에서 가장 많은 시간이 쓰였다고 설명했습니다.

대화 기록 분석 및 파일럿 규모

실제로는 이 10장짜리 프롬프트가 단순한 문장이 아니라 하나의 정밀한 평가 매뉴얼에 가까웠을 것입니다. 첫머리에는 투자 철학을 명시하고, 중간에는 High Quality나 High, Good, Effective 같은 등급 정의와 경계선에 있는 사례의 판정 기준을 넣으며, 끝에는 출력 형식을 규정했을 것입니다. 또한 회의록 전체를 한 번에 채점하게 두지 않고 기록 안에서 주제를 먼저 분류한 뒤, 인공지능이 점수를 매길 때마다 회의록 본문에서 근거 문장을 직접 발췌하도록 강제했을 것입니다. 300건의 파일럿 과정에서는 직원이 직접 매긴 점수와 비교하면서 모델이 느슨하게 점수를 준 사례마다 ‘단순한 원론적 답변을 확약으로 보지 말 것’ 같은 금지 규칙과 반례를 덧붙여 프롬프트를 10장까지 늘려 갔을 것입니다.

기준을 다듬은 인공지능은 10년 치에 이르는 8,830건의 대화 기록 전체를 일관되게 분석했습니다. 원문 영어 기사에는 대화 시간(분)을 뜻하는 단어로 표기되어 있지만, Tomochika Ishii 부장이 영상에서 직접 밝혔듯 이는 회의록 건수를 의미합니다. 인공지능의 단독 판단에만 기대지 않고 사람이 이끄는 검증과 거버넌스 점검 절차를 병행했습니다. 사람의 검증은 8,830건 전체를 다시 보는 방식이 아니라 연도와 주제별로 표본을 추출해 모델이 인용한 근거 문장과 채점 결과가 일치하는지 확인하는 방식으로 진행되었을 것입니다. 이 과정을 통해 해마다, 주제마다, 그리고 기업마다 흩어져 있던 비정형 면담 기록에서 일관된 패턴이 도출되었습니다.

공시 보고서와 재무 데이터를 시스템에 미리 집어넣다

대화의 질을 측정한 것만으로는 절반의 성과에 불과했습니다. 핵심은 대화 이후에 기업이 실제로 움직였는가를 밝히는 일이었습니다. 2단계에서는 Nippon Life가 면담 과정에서 기업에 전달한 10,000건 이상의 지배구조 관련 요청을 정량 요청과 정성 요청으로 분류했습니다. 정량 요청은 재무 지표 개선 같은 숫자 중심의 요구였고, 정성 요청은 지배구조 개편이나 공시 확대 같은 제도적 요구였습니다.

프로젝트 팀은 분석 시스템 환경에 관련 데이터를 미리 탑재해 두었습니다. 정량 평가를 위해서는 재무 데이터를, 정성 평가를 위해서는 기업이 매년 공시하는 유가증권보고서와 통합보고서를 시스템에 직접 넣어 두었습니다. 인공지능이 임의로 인터넷을 검색하다가 엉뚱한 정보를 참조하지 못하게 막고, 정해진 회사와 연도의 문서 안에서만 근거를 찾게 만들어 결과의 반복성과 일관성을 확보하기 위한 장치였을 것입니다. 인공지능은 과거의 요청 내용과 이후 발간된 공시 자료, 재무 지표의 변화를 교차 검증하며 기업의 변화가 요청과 ‘같은 방향’으로 흘러갔는지를 판정했습니다.

주주 대화 요청 대조 체계

이 분석을 직접 제안했던 Tomochika Ishii 부장조차 초기에는 결과에 대해 반신반의했습니다. 그는 기사 인터뷰를 통해 당시의 솔직한 심정을 다음과 같이 회고했습니다.

“생성형 AI가 과연 이렇게 타당한 판단을 내릴 수 있을지 반신반의했습니다만, Oliver Wyman이 AI를 활용해 감탄할 만한 시스템 환경을 구축해 낸 점은 우리를 진심으로 놀라게 했습니다.”

Nippon Life의 건강한 회의감 속에서 시스템 설계와 사람이 주도하는 표본 검증이 결합되었고, 그 결과 일관되고 반복 가능하며 신뢰할 만한 데이터 분석 체계가 완성되었습니다.

숫자가 아닌 경향으로 확인된 스튜어드십의 궤적

분석 결과는 구체적인 백분율 수치 대신 전반적인 추세와 패턴으로 정리되었습니다. 우선 연도가 지날수록 High Quality 판정을 받는 대화의 비율이 꾸준히 늘어났습니다. Nippon Life의 대화 활동이 해가 갈수록 더 정교해지고 효과적으로 발전했음이 데이터로 확인된 셈입니다. Tomochika Ishii 부장은 대화 품질과 기업의 반응 모두에서 긍정적인 평가를 받은 비율이 매년 상승했다고 언급했습니다.

주제별 격차도 뚜렷하게 관찰되었습니다. 재무나 지배구조 관련 대화는 High, Good, Effective 같은 긍정적인 등급을 더 자주 받은 반면, 2018년 무렵부터 본격적으로 확대된 환경 및 사회 주제는 상대적으로 결과가 엇갈렸습니다. Tomochika Ishii 부장은 이러한 격차가 실무적으로 어느 정도 예상했던 결과라고 밝혔습니다. 재무나 지배구조는 오랜 기간 축적된 기준이 있지만, 환경과 사회 분야는 기업과 투자자 모두에게 비교적 새로운 과제였기 때문일 것입니다.

대화의 품질과 기업의 행동 변화 사이의 연결 고리도 확인되었습니다. 대화가 효과적이고 기업의 반응이 긍정적이었던 경우, 실제로 공시나 재무 데이터에서 관찰 가능한 행동 변화가 나타날 확률이 더 높았습니다.

다만 Nippon Life는 이러한 행동 변화를 두고 자신들의 대화 덕분에 기업이 바뀌었다는 식의 인과관계를 섣부르게 주장하지 않았습니다. Tomochika Ishii 부장은 행동 변화가 확인된 기업의 비율이 매년 늘어난 것은 사실이지만, 이를 Nippon Life만의 공으로 돌릴 수는 없다고 설명했습니다. 정부의 정책 변화, 다른 기관투자자들의 요구, 그리고 기업 자체의 쇄신 노력이 함께 작용한 결과이므로, 분석 결과는 자신들의 요청과 기업의 변화 방향이 대체로 일치했다는 의미로 해석해야 한다는 취지였습니다.

측정할 수 없었던 정성 활동을 다시 보는 법

스튜어드십 활동은 단기간에 눈에 띄는 실적을 내는 업무가 아닙니다. 기업이 투자자의 요구를 받아들여 지배구조를 고치거나 새로운 지표를 공시하기까지는 보통 3년에서 5년, 혹은 그 이상의 긴 시간이 걸립니다. 그렇기 때문에 1년 단위의 단기 성과주의로는 대화의 진정한 가치를 측정하기 어렵습니다.

Nippon Life는 인공지능을 통해 10년이라는 긴 호흡 속에서 어디서 진전이 이루어졌고 어디에 더 역량을 쏟아야 하는지, 그리고 대화의 품질이 실제 기업 변화와 어떻게 맞물리는지를 체계적으로 파악할 수 있게 되었습니다. 담당자 한 명이 100개 가까운 기업을 맡아야 하는 현실에서, Tomochika Ishii 부장은 이번 분석을 바탕으로 효과적인 대화의 비율을 끌어올리기 위해 업무 방식을 어떻게 개선해야 할지 검토할 계기가 되었다고 짚었습니다.

이 사례가 주는 의미는 특정 금융사의 성공담에 그치지 않습니다. 기업 내부에는 면담 기록, 회의록, 고객 상담 일지처럼 가치를 지니고 있으면서도 계량화하기 어려워 방치된 정성적 기록이 무수히 쌓여 있습니다. 많은 조직이 인공지능을 도입할 때 새로운 문서를 자동으로 작성하거나 요약하는 용도에 집중합니다. 하지만 Nippon Life는 인공지능을 조직의 과거 발자취를 평가하고 측정하는 잣대로 활용했습니다.

조직의 정성적 활동을 인공지능으로 평가하고자 할 때 가장 먼저 해야 할 일은 도구를 고르는 것이 아니라 ‘무엇이 좋은 활동인가’에 대한 내부 철학과 기준을 글과 규칙으로 명문화하는 일입니다. 또한 문맥을 지나치게 긍정적으로 파악하는 언어 모델의 버릇을 표본 점검을 통해 엄격하게 교정해야 합니다. 그리고 그 결과를 과장된 인과관계로 포장하기보다 객관적인 방향성의 일치로 신중하게 정의할 때, 인공지능은 막연한 감에 의존하던 영역을 단단한 의사결정의 근거로 바꾸어 주는 믿을 만한 계측 도구가 됩니다.

---

출처

Oliver Wyman — How generative AI helped Nippon Life elevate stewardship — https://www.oliverwyman.com/our-expertise/insights/2026/may/generative-ai-elevate-nippon-life-stewardship.html — 2026-05-28

Oliver Wyman(같은 페이지의 인터뷰 영상) — Elevating Nippon Life’s corporate governance and stewardship with AI — https://vimeo.com/1123436648 — 13분 26초, 일본어, 2026-09-24 확인