AI 교육 효과, 만족도 말고 석 달 뒤 사용률로 확인한 기록
작성자 · DinoFlow
AI 교육 효과를 물어보시면 저는 만족도 점수보다 석 달 뒤에도 업무에서 AI를 쓰고 있는지를 먼저 봅니다. 올해 한 대기업 금융계열사(손해보험)에서 영업관리자와 지역단장 교육을 하며 교육 전에 한 번, 교육 석 달 뒤에 한 번 AI를 얼마나 쓰는지 물어봤습니다. 재는 과정에서 제가 틀린 것도 있어서 같이 적습니다. 사명은 비공개입니다.
AI 교육 만족도는 4.80점이었지만 실무 적용은 더 낮았습니다
올해 4월 이 회사 영업관리자 특강 2회차가 끝나고 받은 설문은 응답 41건, 만족도 평균 4.80점이었습니다. 실무 적용 가능성은 4.73점, 강사 만족도는 4.78점이었습니다.
점수만 보면 잘된 교육입니다. 그런데 실무 적용 가능성이 만족도보다 낮았고 이유를 적는 칸에는 보안과 망분리, 계정 제약이 여러 번 나왔습니다. 강의장에서는 따라 했는데 자기 자리로 돌아가면 같은 환경이 아니었던 겁니다.
만족도 설문으로는 다음 주에 AI를 다시 열었는지 알 수 없습니다. 그래서 그 뒤로는 교육 전과 교육 뒤에 AI를 얼마나 쓰는지 따로 묻기 시작했습니다.
교육 전에 AI 사용 빈도부터 물었습니다
강의를 시작할 때 실시간 설문 도구 Slido로 평소에 AI를 얼마나 쓰는지 묻습니다. 보기는 거의 매일, 주 2~3회, 한두 번 써봤다, 써보려 했지만 잘 안 됐다, 아직 못 써봤다 다섯 개입니다. 이 중 거의 매일과 주 2~3회를 더한 값을 주간활성이라고 부릅니다. 일주일에 한 번 이상 업무에서 AI를 여는 사람의 비율입니다.
| 회차 | 대상 | 응답 수 | 거의 매일 | 주간활성 | 아직 못 써봄 |
|---|---|---|---|---|---|
| 7월 후속 교육 (5월 교육 이후 사용 빈도) | 지역단장 | 19명 | 16% | 47% | 0% |
| 8월 입문 과정 | 영업관리자 | 24명 | 29% | 79% | 0% |
| 8월 심화 과정 | 영업관리자 | 32명 | 44% | 81% | 0% |
| 8월 후속 교육 (5월 교육 이후 사용 빈도) | 지역단장 | 기록 못 함 | 42% | 80% | 12% |
맨 위와 맨 아래 행은 평소가 아니라 5월 교육 이후에 얼마나 쓰는지를 물은 회차입니다.
영업관리자 두 회차는 모두 아직 못 써봤다는 사람이 0%였습니다. 이런 강의장에서는 계정 만들기와 화면 소개를 줄이고 바로 실습으로 들어가도 됩니다. 이 숫자는 나중에 교육 효과를 비교할 기준이 되고, 그날 도입부를 얼마나 줄일지도 이걸 보고 정합니다.
교육 석 달 뒤에 AI를 얼마나 쓰는지 다시 물었습니다
지역단장 과정은 5월에 첫 교육을 하고 7월과 8월에 후속 교육을 했습니다. 후속 교육을 시작할 때 5월 교육 이후 AI를 업무에서 얼마나 쓰고 있는지 물었습니다.
7월 그룹 19명 중에는 한 번도 안 열어봤다와 한두 번 써보고 멈췄다가 모두 0명이었습니다. 그만둔 사람이 없다는 뜻입니다. 대신 절반이 넘는 10명이 가끔 생각날 때만 쓴다고 답했습니다. 주간활성은 47%였습니다.
7월 후속 교육 시작 화면입니다. 응답 19명 중 10명이 가끔 생각날 때만 쓴다고 답했습니다.
8월 그룹은 거의 매일 쓴다가 42%, 주 1~2회 필요할 때 쓴다가 38%였습니다. 주간활성으로 치면 80%입니다. 그런데 처음엔 썼지만 지금은 거의 안 쓴다 8%, 써보려 했지만 결국 못 해봤다 12%로, 다섯 명 중 한 명은 쓰지 않는 상태였습니다.
8월 후속 교육 시작 화면입니다. 쓰지 않는다는 응답이 합쳐서 20%였습니다.
AI 교육 효과를 재면서 세 가지를 틀렸습니다
47%에서 80%로 올랐다고 쓰고 싶지만 그렇게 쓸 수 없습니다. 설문을 짜면서 제가 세 군데를 틀렸습니다.
먼저 7월과 8월은 다른 그룹입니다. 같은 사람에게 두 번 물은 게 아니라 5월에 교육받은 서로 다른 차수에 한 번씩 물었습니다. 그룹이 다르면 숫자 차이가 교육 때문인지 사람 때문인지 가릴 수 없습니다.
그리고 보기 문구를 바꿨습니다. 7월에는 가끔 생각날 때만 쓴다는 보기가 있었고 주 2~3회를 물었습니다. 8월에는 그 보기가 없었고 주 1~2회로 물었습니다. 가끔 쓰던 사람이 8월에는 주 1~2회로 옮겨 갔을 가능성이 큽니다. 둘 다 주간활성이라고 불렀지만 기준이 다릅니다.
마지막으로 8월은 응답 수를 적어두지 못했습니다. 화면에 퍼센트만 남아 있어서 20%가 몇 명인지 모릅니다.
그래서 이 숫자로 말할 수 있는 건 여기까지입니다. 5월 교육을 받은 두 그룹 모두 석 달 뒤에도 대부분 AI를 쓰고 있었고, 한 그룹에서는 쓰지 않는 사람이 다섯 명 중 한 명 나왔습니다. 효과가 몇 퍼센트 올랐다고는 말하기 어렵습니다.
쓰지 않는 20%는 따로 다룹니다
8월 그룹에서 거의 매일 쓰는 42%와 쓰지 않는 20%는 같은 강의장에 앉아 있었습니다. 한 과정으로 둘을 다 만족시키기는 어렵습니다.
매일 쓰는 쪽에는 반복 업무를 자동으로 돌리는 심화 실습이 맞고, 쓰지 않는 쪽에는 다시 시작할 수 있는 쉬운 실습과 따라 할 프롬프트 묶음이 필요합니다. 7월 그룹처럼 생각날 때만 쓰는 사람이 많다면 새 기능 소개보다 매주 정해진 업무에 AI를 붙이는 연습이 먼저입니다.
다음부터는 AI 교육 효과를 같은 문항으로 두 번 잽니다
교육 담당자분이 직접 재보신다면 이렇게 하시면 됩니다. 교육 시작 전에 한 번, 교육 뒤 몇 주에서 몇 달 사이에 한 번, 같은 사람에게 같은 문항과 같은 보기로 묻습니다. 응답 수는 퍼센트와 함께 반드시 적습니다. 결과는 쓰는 층과 쓰지 않는 층으로 나눠 보고, 다음 과정을 그 둘에 맞춰 나눕니다.
만족도 설문은 그대로 받되 효과 보고는 이 숫자로 합니다. 구체적인 문항과 보기 구성은 과정 자료로 제공하고 있습니다.
자주 묻는 질문
AI 교육 효과는 언제 측정하는 게 좋나요?
교육 직후 만족도와 별도로, 교육 뒤 몇 주에서 석 달 사이에 한 번 더 묻는 걸 권합니다. 이 글의 기록은 5월 교육을 받은 두 그룹에게 7월과 8월에 물은 결과입니다.
만족도가 높으면 효과가 있는 것 아닌가요?
만족도로는 그날 강의가 좋았는지까지만 알 수 있습니다. 4.80점을 받은 회차에서도 실무 적용 가능성은 4.73점으로 더 낮았고, 보안과 계정 제약이 이유로 나왔습니다.
응답자가 적어도 의미가 있나요?
19명처럼 적은 인원이라도 같은 문항으로 두 번 재면 방향은 볼 수 있습니다. 다만 퍼센트만 적지 말고 응답 수를 함께 남겨야 나중에 비교할 수 있습니다.
쓰지 않는 사람이 나오면 교육이 실패한 건가요?
저는 그렇게 보지 않습니다. 몇 명이 어디서 멈췄는지 알면 다음 교육을 그분들께 맞출 수 있습니다. 8월 그룹에서 나온 20%도 다음 과정에서 따로 챙길 대상으로 봤습니다.
교육 설계 전체 흐름은 기업 AI 교육, 기능 설명으로 끝내지 않는 4단계에, 직급마다 실습 소재를 바꾼 이야기는 기업 AI 교육, 같은 회사인데 직급마다 실습 소재가 달랐던 이유에 정리했습니다. 교육을 준비 중이라면 AI 교육 도입 전 체크리스트부터 확인해 보셔도 좋습니다.
비슷한 교육을 검토 중이라면 아래로 문의하시면 됩니다. 교육 전과 교육 뒤에 같은 방식으로 재는 것까지 과정에 넣어 설계합니다.
이메일 godino2895@gmail.com
전화 010-4365-2823