시험범위 공지 다음 날, 190쪽 워크북을 냈습니다 — 그리고 검수가 306건을 찾았습니다
고2 영어 내신 최종 시험범위 공지를 받은 날 지문 59개로 190쪽 워크북을 만들었습니다. 다른 AI로 독립 검수를 돌리자 결함 306건이 나왔고, 그걸 고치면서 바꾼 검수 기준과 재작성 방식을 숫자와 함께 적습니다.
하루 만에 만든 것보다, 만든 것을 다른 눈으로 검사한 일이 더 중요했습니다. 2026년 9월 26일, 고2 영어 내신의 최종 시험범위 공지가 나왔습니다. 그날 지문 59개로 학생용 190쪽짜리 워크북을 만들어 냈습니다. 다음 날 독립 검수를 돌렸더니 결함 306건이 나왔습니다.
이 글은 그 이틀의 기록입니다. 무엇이 자동으로 돌았고, 어디서 틀렸고, 무엇을 바꿨는지 적습니다.
최종 공지에서 범위가 바뀌었습니다
범위 예고는 미리 나오지만 최종 공지에서 단원이 빠지거나 새로 붙습니다. 이번에도 그랬습니다. 이미 배부한 범위에서 몇 편이 빠졌고, 처음 받는 교재 지문이 41개 더해졌습니다.
강사 입장에서 이 순간이 제일 괴롭습니다. 지문은 늘었고 시험까지 남은 날은 그대로입니다. 59개 지문의 워크북을 손으로 새로 만들면 주말이 통째로 사라집니다.
하루 동안 돈 것
제가 한 일은 범위 문서를 읽고 원문을 넣는 데까지였습니다. 그다음은 미리 만들어 둔 제작 라인이 돌았습니다.
- 새 지문을 원문 장부에 등록합니다. 원본 파일이 없는 교재 지문은 기존 유인물 PDF에서 문장 단위로 뽑았고, 목차의 문장 수와 맞는지 대조했습니다.
- 지문마다 워크북 단위를 만듭니다. 59개 지문에서 177개 단위가 나왔습니다.
- AI가 단위마다 어휘·어법 문항과 해설을 씁니다.
- 코드가 형식을 검사합니다. 보기 개수, 정답 위치, 원문 훼손 여부 같은 것은 모델모델 model AI의 '두뇌' 하나하나를 부르는 말. 같은 회사도 크기·성능별로 여러 모델을 냅니다.에게 묻지 않고 코드가 봅니다.
- 판형에 맞춰 조판해서 학생용·정답용·빠른 정답·합본 PDF를 냅니다.
첫 판은 학생용 190쪽, 합본 380쪽이었습니다. 공지를 받은 9월 26일 당일에 출고했습니다.
다른 AI에게 검수를 맡겼더니
이어서 첫 판 전체를 다른 AI로 독립 검수했습니다. 작성에 쓰지 않은 모델이 문항 4,173개를 하나씩 판정했습니다.
결과는 높음 13건, 중간 86건, 전체 306건이었습니다. 원인은 세 가지였습니다.
| 원인 | 무슨 일이 있었나 | 고친 방법 |
|---|---|---|
| 원문 문장 누락 | 쪽이 넘어갈 때 다시 찍힌 단락 표시를 새 단락으로 읽어 앞 문장을 덮어썼다 | 단락마다 첫 표시만 시작점으로 보고, 단어 수가 보존되는지 코드로 단언 |
| 검수 기준 빠짐 | ”오답을 원문 자리에 넣어도 문장이 성립하면 불합격” 규칙이 없었다 | 그 규칙을 작성과 검수 지시에 넣음 |
| 약한 모델 조합 | 작성과 검수를 같은 낮은 사양 모델로 돌렸다 | 작성과 검수를 다른 설정으로 분리 |
두 번째가 가장 아팠습니다. 어휘 문항에서 오답으로 넣은 단어가 사실은 문맥에 들어가도 말이 되는 동의어였던 겁니다. 학생은 정답이 두 개인 문제를 받게 됩니다. 사람이 검수할 때도 자주 놓치는 종류입니다.
전부 다시 만들지 않는다
결함이 나온 단위를 통째로 다시 만들면 시간이 너무 걸립니다. 그래서 고치는 방식을 바꿨습니다. 형식은 통과했는데 특정 문항만 검수에서 걸린 단위는 그 문항의 오답과 해설만 다시 쓰게 했습니다. 다시 검수할 때도 고친 문항만 봅니다.
실측으로 한 강의 세 단위를 고치는 데 17분 43초 걸리던 일이 8분 9초로 줄었습니다. 단위 전체 재검수가 2~3분이었는데 문항 하나 재검수는 9초입니다. 검수에서 지목하지 않은 문항은 잠가서 멀쩡한 문항이 다시 쓰이며 새 결함이 생기는 일도 막았습니다.
둘째 판은 다음 날인 9월 27일에 냈습니다. 최종 독립 검수 결과는 높음 1건, 중간 16건, 전체 142건이었습니다. 높음 1건과 어휘 문항 중간 5건을 고쳐서 출고했습니다. 나머지는 표현 다듬기 수준이라 수업에 지장이 없다고 판단했습니다.
놓친 것도 있었습니다
범위 문서를 다시 대조하다가 이미 배부하기로 한 추가 지문 세 편이 한 번도 워크북으로 나간 적이 없다는 걸 발견했습니다. 범위를 해석한 뒤 받은 폴더 전체와 배부 목록을 대조하는 단계가 없었던 탓입니다. 그 세 편은 30단위짜리 별도 워크북으로 같은 날 냈습니다. 첫 실행 13분, 재실행 5분이었습니다.
이번에 배운 것
- 작성한 AI와 검수하는 AI를 분리합니다. 같은 모델은 같은 실수를 같은 이유로 통과시킵니다.
- 검수 기준은 문장 하나로 바뀝니다. “오답을 넣어도 성립하면 불합격” 한 줄이 빠져 있어서 정답이 두 개인 어휘 문항이 통과했습니다.
- 고칠 때는 지목된 문항만 고치고 나머지는 잠급니다. 전체 재생성은 새 결함을 만듭니다.
- 범위를 받으면 받은 자료 전체와 배부 목록을 대조합니다. 빠진 걸 찾는 건 도구가 아니라 대조 단계입니다.
- 실행 도중에는 설정을 바꾸지 않습니다. 이번에 모델 설정을 중간에 바꿨다가 한 바퀴를 통째로 버렸습니다.
새 글 소식
새 글이 나오면 메일로 알려 드립니다.
새 글 주소와 한 줄 요약만 보냅니다. 광고는 보내지 않습니다.