책임 회피 구조란, 일이 잘못되었을 때 누군가가 책임지고 문제를 해결할 수 없도록 설계된 시스템을 말합니다.
지연된 비행편을 바꾸려고 항공사에 전화를 겁니다. 직원은 도와드릴 수 없다고 말하네요—컴퓨터가 허락하지 않는다고 합니다. 그래서 매니저와 통화하고 싶다고 요청하니, 그분도 똑같이 대답합니다. 결국 그 매니저의 상사에게까지 문제를 올렸지만, 답변은 변함이 없습니다. 모두 도와주려 하지만 어느 누구도 도와줄 수 없습니다. 시스템이 이미 결정을 내렸고, 그 시스템은 스스로에 대해 아무런 설명도 하지 않습니다.
이러한 상황을 댄 데이비스(Dan Davies)는 『The Unaccountability Machine』이라는 책에서 ‘책임 회피 구조(accountability sink)’라 부릅니다.
책임 회피 구조란, 일이 잘못되었을 때 누군가가 책임지고 문제를 해결할 수 없도록 설계된 시스템을 말합니다. 댄 데이비스는 “결정이 복잡한 규칙집이나 표준 절차에 맡겨져 있어서, 문제가 발생했을 때 잘못의 근원을 특정할 수 없게 된다”고 설명합니다.
이런 현상은 조직 규모가 커질수록 자주 나타나며, 위험 분산을 위한 전략이기도 합니다.
특히 AI 시대에는 이러한 문제들이 더욱 심각해질 가능성이 큽니다. 책에서는 “앞으로는 ‘시스템 탓이다’라는 말을 익숙하게, 그리고 말 그대로 받아들여야 할 것”이라고 경고하고 있습니다.
저는 AI를 탓합니다.
이 말을 하게 되면, 마치 번화한 교차로 한복판에서 우뚝 멈춰 선 자율주행차 Waymo처럼 세상이 멈추는 듯한 느낌이 듭니다. 그렇다면 다음에 어떤 행동을 취해야 할까요?
다행스럽게도 AI 시스템을 탓하는 시기와 함께 Founder Mode라는 창업자 모드 정신이 등장했습니다. 창업자 모드는 책임 회피 구조와 정반대 개념입니다. 모든 책임이 한 사람, 즉 창업자에게 집중되는 것이 핵심입니다.
“결정을 바꿀 수 있는 정도가 바로 그 결정에 대해 책임질 수 있는 정도다.” 책임 있는 조직을 설계한다는 것은 바로 사람들이 책임을 지고 시스템의 결정을 무효화할 수 있는 역할과 체계를 세우는 것입니다.
또한 데이비스는 조직 내 아래에서 위로 전달되는 피드백 루프를 강조합니다. 매니저의 상사가 팀원을 직접 만나 대화하는 스킵레벨 미팅이 좋은 예입니다.
하지만 AI 시대에는 이것만으로 부족합니다. 조직 내를 쉴 새 없이 흐르는 방대한 디지털 정보가 감당하기 벅찰 수 있기 때문입니다. 만약 이전에도 책임 회피 구조가 문제였다면, 정보 홍수 이후에는 그 영향이 더 심각해질 것입니다.
따라서 역할과 AI 시스템을 사람의 개입이 가능한 구조로 재설계하는 것이 책임성을 확보하는 데 필수적입니다. 적어도 현재는 모든 중요한 결정 뒤에는 사람이 있어야 하며, 그 정도 책임과 권한을 갖는다면, 급하게 재결정을 해서 저녁 식사 시간 전에 집에 갈 수 있을 정도로 신속하게 대응할 수 있을지도 모릅니다.
원문: I Blame the AI
blog by ash에서 더 알아보기
구독을 신청하면 최신 게시물을 이메일로 받아볼 수 있습니다.