AI 직원 서른 명을 고용하고 배운 것

AI 직원 서른 명을 고용하고 배운 것

회사를 흉내 낸 AI는 회사의 비용만 흉내 냈다

올해 우리는 작은 실험을 했다. 사람 대신 AI로 돌아가는 회사를 만드는 것이었다. 직원은 서른 명 남짓. 교수, 작가, 리서처, 연출가, 편집장, 그리고 "까칠한 시청자"까지 있었다. 저마다 이력서가 있고, 담당 업무가 있고, 입사하면 사내교육을 받았다. 교육 자료는 수백 편을 만들어 검색 가능한 서고(RAG)에 넣었고, 개념 사이의 관계는 지식 그래프로 엮었다. 회의도 했다. 작가가 초안을 내면 검토자 셋이 점수를 매기고, 편집장이 지적을 정리해 넘기고, 작가가 고쳐 다시 내는 식으로 열 번까지 돌았다.

그렇게 만든 첫 영상 대본 한 편에 다섯 시간이 걸렸다. 그리고 어느 날, 같은 원서 한 장을 시중의 AI 채팅창에 넣고 "교육 영상 대본을 써 줘"라고 했더니 2분 만에 더 나은 글이 나왔다. 더 쉽고, 더 짧고, 틀린 곳이 더 적었다.

서른 명의 직원, 최신 검색 기술, 열 번의 회의가 채팅창 한 번을 이기지 못했다. 이 글은 그 이유를 찾으면서 배운 것들이다.

1. 손을 넘길 때마다 '왜'가 사라진다

사람 회사에서 분업이 통하는 이유는, 사람은 문서에 적히지 않은 맥락을 머릿속에 들고 다음 사람과 대화하기 때문이다. AI 직원은 그렇지 않다. 앞 사람이 넘긴 문서가 전부다.

우리 공정에서 교수 직원은 원서를 읽고 강의노트를 썼다. 작가 직원은 원서를 보지 못한 채 그 강의노트만 받아 대본을 썼다. 검토자들은 대본만 보고 지적했고, 편집장은 지적 가운데 일부만 골라 넘겼다. 작가는 지적받은 페이지만 고쳤다. 손이 넘어갈 때마다 "이 개념이 왜 필요한가"는 빠지고 "무슨 말을 해야 하는가"만 남았다. 완성된 대본은 결론 문장의 나열이었다. 시청자 입장에서는 "왜 갑자기 이걸 설명하지?"가 반복되는 영상이 됐다.

채팅창의 AI는 원서를 통째로 읽고 글을 통째로 썼다. 그래서 흐름이 있었다. AI는 조각을 이어 붙이는 데 약하고, 통째로 쓰는 데 강하다. 우리는 정반대로 일을 시켰다.

2. 회의는 품질을 올리지 않고 분량을 올린다

열 번의 검토 회의가 무엇을 했는지 기록을 뒤져 봤다. "재미" 담당 검토자는 사례를 더 넣으라 했고, "구성" 담당 검토자는 빠진 항목을 넣으라 했다. 작가는 시키는 대로 넣었다. 그래서 8분짜리로 기획한 영상이 19분이 됐다. 그동안 원서와 다른 설명 — 정의를 거꾸로 말한 곳, 계산이 안 맞는 비유 — 은 단 한 번도 지적되지 않았다. 원서를 보는 검토자가 없었기 때문이다.

AI 검토자는 "무언가를 지적해야 한다"는 역할을 받으면 반드시 무언가를 지적한다. 그 지적이 덧붙이기 쪽이면 글은 회의를 거칠수록 길어지고 흐려진다. 검토는 횟수가 아니라 기준이다. 무엇과 대조하는지, 무엇을 재는지가 없는 검토는 회차를 늘릴수록 해롭다.

3. 교육은 '아는 것'을 만들지 '쓰는 것'을 만들지 않는다

사내교육에 가장 많은 공을 들였다. 직원마다 박사급 전문 지식, 실무 요령, 분야 배경을 담은 자료를 자동으로 만들어 넣었다. 그런데 실제 작업 기록을 보니, 작가 직원이 대본을 쓸 때 꺼내 본 것은 교육 자료가 아니라 즉석 웹 검색 결과였다. 교육 자료는 "선형 회귀란 무엇인가", "스토리보드는 영상의 설계도다" 같은 일반론이었고, 그날 쓸 원서의 개념은 한 줄도 담고 있지 않았다. 반대로 "아무것도 모르는 시청자" 역할의 직원에게는 교육이 미리 용어를 알려 줘서, 모르는 척을 못 하게 됐다.

사람에게 교육은 쌓인다. AI 직원에게 교육은 검색될 때만 존재한다. 일에 쓰이는 지식은 그 일의 원문 자체다. 요약본, 배경지식, 일반론은 서고를 채우지만 결과물을 바꾸지 않는다.

4. 사람 회사를 본뜰수록 사람 회사의 비용만 남는다

우리는 직급, 부서, 회의록, 결재를 다 만들었다. 그것이 "진짜 회사 같다"고 생각했다. 돌아보면 그 모든 장치는 사람의 한계 — 한 사람이 다 읽을 수 없고, 다 기억할 수 없고, 혼자 판단하면 위험하다 — 를 보완하려고 생긴 것이다. AI는 그 한계를 거의 갖지 않는다. 원서 한 권을 한 번에 읽는다. 대신 다른 한계를 갖는다. 무엇을 빼야 할지 모르고, 숫자를 틀리고, 틀린 말을 그럴싸하게 한다.

그러니 조직도는 사람 회사가 아니라 AI의 한계를 보완하는 모양이어야 한다. 무엇을 넣고 뺄지는 사람이 몇 분 들여 정해 주고, 숫자는 계산기(코드)가 내고, 틀린 말은 원문과 대조하는 자리가 걸러 낸다. 그 밖의 직급과 회의는 비용이다.

5. 가장 비싼 것은 모델 호출이 아니라 빠진 판단이었다

이 모든 것을 알게 된 계기는 거창하지 않았다. 완성 영상을 본 동료가 "어렵기만 하고 왜 이걸 설명하는지 모르겠다"고 말한 것, 그리고 대본을 읽은 사람이 틀린 곳 다섯 군데를 짚어 준 것이었다. 5분짜리 사람의 판단이 5시간짜리 AI 공정보다 결과물을 더 바꿨다.

우리는 사람을 공정 밖으로 빼는 것이 자동화라고 생각했다. 틀렸다. 사람이 가장 잘하는 판단 — 이 영상이 누구에게 왜 필요한가, 무엇을 빼야 하는가 — 을 공정의 맨 앞에 몇 분 넣는 것이 서른 명의 직원보다 쌌고 효과가 컸다.

6. 제품 정의가 없으면 AI는 '빠짐없이'로 흐른다

마지막으로, 가장 근본적인 실수. 우리는 "원서 2장을 8~10분 영상으로"라고만 정했다. 그러자 모든 직원이 2장의 내용을 빠짐없이 담는 쪽으로 움직였다. 수식 열 개가 화면에 올라갔다. 책을 대신하는 영상이 됐고, 책보다 못했다.

제품을 다시 정했다. "책을 읽기 전에 보고, 이 개념이 왜 필요하고 무엇인지만 확실히 잡아 주는 영상." 그러자 무엇을 빼야 하는지가 분명해졌고, 직원 수는 일곱에서 다섯으로 줄었고, 회의는 사라졌다. AI에게 가장 먼저 줘야 할 것은 지식도 조직도도 아니고, 무엇이 좋은 결과물인지에 대한 정의다.

그래서, AI 직원으로 회사를 만들려는 분께

• 사람 회사를 본뜨지 마라. AI의 한계(빼기, 계산, 사실)를 보완하는 자리만 만들어라.
• 글은 한 직원이 원문을 들고 통째로 쓰게 하라. 조각내서 넘기지 마라.
• 검토자에게는 '무엇과 대조할지'를 줘라. 기준 없는 검토는 분량만 늘린다.
• 교육보다 원문. 서고를 채우기 전에, 직원이 일할 때 실제로 무엇을 꺼내 보는지 기록부터 봐라.
• 사람의 판단을 빼지 말고, 맨 앞에 몇 분만 넣어라.
• 제품이 무엇인지부터 한 문장으로 적어라. 그 문장이 없으면 AI는 전부를 넣는다.

우리는 지금 첫 영상부터 다시 만들고 있다. 직원은 줄었고, 회의는 없어졌고, 사람이 보는 자리는 두 곳 생겼다. 더 적은 것으로 더 나은 것을 만들 수 있는지는 곧 알게 될 것이다. 적어도 한 가지는 확실하다. 더 많은 직원과 더 많은 기술이 답이 아니었다는 것.