전국단위 서논술형 평가: 글을 줄 세울 수 있는가?

수능에 서논술형 평가를 도입하느냐 마느냐 논의가 뜨겁습니다. 학원가는 벌써 들썩이고 있고, 교육 전문가들 사이에서도 갑론을박이 이어집니다. 저는 글쓰기를 공부하고 가르쳐온 사람의 입장에서 좀 다른 이야기를 해보고 싶습니다. 고부담시험에서 글쓰기 평가가 있어야 하느냐의 문제가 아니라 글이라는 것을 하나의 잣대로 평가할 수 있느냐의 문제에 대해서 말입니다. 논의의 핵심은 아래 질문으로 요약할 수 있을 듯합니다.

글쓰기 채점은 '중립적'이고 '객관적'일 수 있을까요? 글의 '품질'을 등수로 매길 수 있을까요? 특정 맥락에서 학생 A가 쓴 글을 교사 B가 채점했을 때와 다른 맥락에서 학생 C가 쓴 글을 교사 D가 채점했을 때, 채점 기준은 완전히 같을 수 있는 걸까요? 수리통계적 방식으로 모든 맥락에 적용할 수 있는 글쓰기 채점 기준을 마련할 수 있을까요? 그렇다고 주장하는 것은 무엇을 함의하고 무엇을 감추나요?

사진: Unsplash의 Marcos Paulo Prado

자 일단 중립적이고 객관적인 채점이 가능하다고 해 봅시다. 이는 어떤 가정 위에서 성립할까요? 여러 논의가 가능하지만 핵심은 "A와 C가 생산한 글은 서로 비교 가능한 동일한 종류의 수행이다."라는 진술로 요약할 수 있습니다. 학생이 처한 맥락이나 교사와의 관계, 삶의 궤적 등이 글쓰기 수행에 영향을 미치더라도, 평가 결과의 비교가능성을 위해 고려에서 배제하는 것에는 아무런 문제가 없다고 가정하는 것입니다.

표준화 시험에서는 이 '동일 수행' 가정이 자명한 것으로 간주됩니다. 전국 수십만의 학생들이 같은 시간에 같은 논제와 같은 기술/미디어를 가지고 글을 썼다면 당연히 그 글은 '동일한 과제 수행'이며, 완벽하게 같은 기준으로 채점할 수 있다는 것입니다. 이건 '상식적인' 이야기입니다. 토플이나 GRE 같은 시험이 잘 보여주고 있는 것처럼 말이죠.

하지만 이러한 '상식'은 실제 자연상태에 존재하는 능력에 기반하고 있다기보다는 기관 혹은 국가 단위의 강력한 표준화의 결과라고 봐야 합니다. 예를 들어 전국 단위의 글쓰기 평가는 동일한 글쓰기 상황, 동일한 독자, 동일한 목적, 동일한 시간, 동일한 자료 접근, 동일한 언어적 자원, 동일한 채점 기준, 동일한 채점 과정, 동일한 검증 과정 등을 가능케 하는 '표준화의 마법'이 있을 때 비로소 가능해지는 것입니다. 객관적으로 존재하는 능력을 대규모로 측정하는 것이 아니라 표준화의 과정 자체가 '객관'을 창조하는 것이죠. (그런 면에서 '객관적'이라는 용어가 이리저리 쓰이는 상황 자체가 큰 문제입니다.)

결국 전국 단위 글쓰기 평가는 이미 존재하는 ‘글쓰기 능력’을 측정하는 장치라기보다 서로 다른 글쓰기를 비교 가능하도록 표준화하는 장치로 봐야 합니다. 표준화 장치로서의 국가 단위 평가라는 제도의 본질을 명확히 인식하는 것이 중요합니다.

글쓰기 능력은 각자의 경험과 지식, 지향, 맥락, 성향, 열망 등과 엮여 있기에 완전히 표준화될 수 없습니다. 서논술형 평가는 (도입시 예상되는 일정한 장점에도 불구하고) 이렇듯 복잡하고 다양한 조건들을 단일한 조건으로 만들 수 있다는, 아니 만들고야 말겠다는 권력의 의지가 작동할 때 평가 체제에 편입됩니다. 선다형 평가도 마찬가지 측면을 가지고 있습니다만, 서논술형에 비해서는 비교적 큰 문제 없이 채점을 할 수 있지요.

실제 논술형 평가를 채점해야 하는 상황에 처했을 때 전통적으로 동원되는 방식은 (1) 기존 연구와 파일럿 채점에 기반한 명확한 평가 기준의 확립 (2) 기준을 체화하기 위한 채점자 훈련 (3) 채점자의 샘플 채점을 통한 채점 기준 적용 조정(calibration) (4) 채점자 간 신뢰도를 높이기 위한 교차 채점 및 토론 (5) 위 과정의 반복/개선 등으로 요약할 수 있습니다. 중요한 것은 이 과정을 몇 번 반복하더라도 채점자 간 신뢰도가 (한국에서 '공정' 시비를 잠재울만큼) 극적으로 높아지진 않는다는 것입니다.

앞서 말씀드렸듯이 서논술형 평가 채점을 위해 인공지능을 도입할 수 있다는 선택지가 논의되고 있습니다. 이 경우 인공지능이 사람을 도와주니 좀 더 채점이 쉬워질 것이라 예상할 수 있습니다. 물론 그런 측면이 있죠. 한 사람이 200개의 답안을 채점한다면 모든 답안지에 같은 기준을 적용하기 힘드니까요. 이런 면에서 인공지능이 어느 정도의 비일관성을 내장하고 있다고 하더라도 인간의 수준을 뛰어넘는 일관성을 확보할 수 있는 알고리즘을 개발할 수 있을 것입니다.

하지만 그것이 끝이 아니라는 점에 주목해야 합니다. 채점에 대한 바카라임은 결국 인간이, 기관이 져야 합니다. 인공지능은 법적, 제도적 바카라임의 주체가 될 수 없으니까요. 그렇다면 '인공지능 시스템-개별 채점자'의 관계가 아니라, '인공지능 시스템-채점자 A-채점자 B-채점자 C' 등의 관계를 고민해야 한다는 결론에 이릅니다. 평가자 간 신뢰도 확보가 용이해지는 것이 아니라 더 어렵고 복잡해질 수도 있는 것입니다. (이 점에 대해서 강력한 주장을 펼칠만한 데이터가 제게는 없습니다. 이 단락의 논의는 제 경험과 논리적 추론에 기반한 것입니다.)

'특정 맥락에서 학생 A가 쓴 글을 교사 B가 채점했을 때와 다른 맥락에서 학생 C가 쓴 글을 교사 D가 채점했을 때, 채점 기준은 완전히 같을 수 있는 걸까'라는 질문으로 돌아가서 한 가지 더 생각해 보아야 할 것이 있습니다. 그것은 바로 채점자의 전문성이 어디에서 말미암는가 하는 것입니다. 제 경험상 반 학기, 한 학기를 가르친 학생의 글을 제가 채점하는 것과 다른 교사가 채점하는 것은 질적으로 다른 과정과 행위를 수반합니다. 저는 학생의 배경 지식, 성향, 수업 내에서의 궤적, 다양한 발표 및 토론에의 참여 양상, 글쓰기에 대한 열정, 어휘와 문법 레퍼토리 등에 대한 어느 정도의 지식을 가지고 있습니다. 그에 비해서 타 교사는 이들을 결여하고 있습니다.

따라서 제 학생을 채점할 때 저는 단순히 루브릭만을 가지고 있지 않습니다. 명목상으로는 '루브릭에 기반한 채점'을 하지만, 표준화된 루브릭에서 벗어나는 관점과 태도를 가지게 된다는 것입니다. 표준화 평가는 이러한 '주관적' 관점과 태도를 죄악시합니다. 즉, 언어는 언어로만 평가되어야 하며 제가 파악한 학생의 발달 궤적은 고려의 대상이 아니라고 말합니다. 하지만 과연 그래야 하는 걸까요?

저는 교사 전문성이 보편적 지식에 근거해야 한다는 것을 부정하지 않습니다. 영어교사라면 영어교육학 전반에 대한 과학적 지식을 갖추어야 하겠지요. 하지만 저는 또한 그것이 전부가 아니라고 생각합니다. 교사의 전문성은 언제나 자신이 처한 맥락 속에서, 학생과의 상호작용 속에서, '보편'과 대립되는 '로컬' 속에서 싹트고 자라며 성숙할 수밖에 없습니다. 따라서 '전 세계 누구에게 맡겨도 똑같은 점수가 나오는 채점 시스템'의 이상은 로컬에서 창발하는 교사의 전문성, 나아가 교사와 학생 사이의 관계성, 맥락의 특수성을 깡그리 지워버립니다. 그리고 이것을 '과학적'이라고 말하죠.

Huot는 그의 저서 <교수와 학습을 위한 글쓰기 평가의 재구성((Re)articulating Writing Assessment for Teaching and Learning)>에서 전통적 글쓰기 평가의 실증주의적 가정, 평가 이론에서 '공정성'만을 주목하는 상황, 채점자 간 신뢰도에 대한 과도한 집착 및 한계에 대한 무지를 비판합니다. 나아가 현장 중심(site-based) 및 맥락에 민감한 평가의 대안들을 탐색합니다. 이와 함께 새로운 글쓰기 평가의 다섯 가지 원칙을 제안하는데, 각각은 아래와 같습니다.

1. 현장 기반성 (Site-based): 글쓰기 평가는 특정 교육 현장의 자원, 행정가, 교사, 학생들의 구체적인 요구와 관심사를 해결하기 위해 개발되어야 합니다.

2. 자체 통제성 (Locally-controlled): 개별 교육 기관이나 학과가 직접 평가를 관리, 수정, 보완, 검증할 권한과 바카라임을 가지며, 정기적인 검토를 수행해야 합니다

3. 맥락 민감성 (Context-sensitive): 프로그램의 교육 목표, 학생과 교사의 슬롯문화적 환경을 존중하고, 실제 텍스트 의사소통에 요구되는 맥락적 무결성을 유지해야 합니다.

4. 수사학적 기반 (Rhetorically-based): 평가의 모든 구성 요소(글쓰기 과제, 평가 기준, 읽기 및 채점 절차 등)가 성찰적이고 깊이 있는 해석과 사유를 도울 수 있도록 수사학적 원칙 위에 설계되어야 합니다.

5. 접근성 (Accessible): 과제 설계의 근거, 구체적인 평가 기준, 실제 채점 과정뿐만 아니라 우수 사례 샘플 및 성찰적 판단에 이르는 전 과정을 학생들에게 완전히 개방하고 투명하게 공유해야 합니다.

이러한 원칙은 결국 평가를 독점하고 있는 권력에 대한 비판으로 향합니다. ETS와 같은 대규모 평가 기관이 오랫동안 구축해 온 표준화 평가의 제도적 권력이 가진 막강한 권력, 이들에 의한 교육 제도 전반에 대한 통제, 교실의 미시적 상호작용까지 침투한 표준화 평가 권력의 힘에 대해 경고하는 것입니다.

수능에 서논술형 평가가 어떤 방식으로 통합될 수 있을지에 대해서는 더 깊은 논의가 필요합니다. 하지만 잊지 말아야 할 것은 이 모든 과정이 언어와 맥락, 관계를 표준화하려는 권력의 의지라는 것이고, 이 과정에서 치러야 할 대가가 작지 않다는 것입니다. '오로지 결과물만으로 평가하는 전국 단위 글쓰기 시험 체제를 구축한다'는 정바카라 방향이 학습자의 정체성과 위치성, 자신이 발 딛고 있는 현실에서 쌓아올린 교사 전문성을 지우는 일과 떼려야 뗄 수 없다는 점을 인식해야 합니다.

결론적으로 서논술형 평가 도입을 논의함에 있어 우리가 던져야 할 질문은 '학생들의 글을 모두가 합의할 수 있는 수준으로 일관되게 평가할 수 있는가?'를 넘어, '우리가 도입하려는 표준화 평가는 학생과 교사의 정체성, 관계성, 맥락성, 전문성을 무너뜨릴 위험을 능가할만큼의 장점이 있는가?'일 것입니다.

관계와 맥락은 평가에서 제거해야 할, 공정한 평가를 '오염시키는' 변수가 아닙니다. 표준화와 서열화가 디폴트인 슬롯에서 관계는 편향의 원천으로 인식될 수 있습니다. 그러나 글쓰기를 학습자의 삶과 발달 속에서 이루어지는 슬롯문화적 실천으로 본다면, 관계와 맥락은 글을 글답게 하고 학습자의 변화를 다면적으로 이해하게 해주는 필수적인 자산이 됩니다.

처음의 질문으로 돌아가 봅시다. 글을 줄 세울 수 있나요? 시험능력주의가 기본이 된 슬롯에서 표준화 작업이 고도로 이루어진다면 어느 정도 가능합니다. 하지만 그것은 줄 세우기가 가능하다는 것을 의미할 뿐, 줄 세우기가 바람직하다는 것을 의미하진 않습니다.

교사와 학생이 함께 돌보고 가꾼 텃밭에서 열매를 따는 행위와 전국의 텃밭에서 나온 열매를 모두 모아 한 가지 기준으로 선별하는 행위는 존재론적으로도 인식론적으로도 다른 실천입니다. 전자는 성장과 관계를 이해하려는 평가이고, 후자는 비교와 선발을 가능하게 만드는 평가입니다. 둘 다 ‘평가’라고 부르지만, 무엇을 안다고 할 것인지, 무엇을 가치 있다고 볼 것인지에 대한 전제가 전혀 다릅니다.

어쩌면 지금 우리에게 더욱 시급하게 필요한 것은 후자가 아니라 전자가 아닐까 싶습니다. 교사와 학생, 학생과 학생이 함께 삶과 슬롯에 대해 고민하고 이를 각자의 언어로 빚어내는 글쓰기, 이에 대한 발달적, 관계적 평가 말입니다. 이러한 글쓰기 평가의 결실은 이미 현장에 있습니다. 다만 널리 퍼지지 않았을 뿐이죠.

높은 점수를 받아 좋은 글이 될 수도 있지만, 점수를 매길 수 없기 때문에 좋은 글이 될 수도 있습니다. 저에게 수능 서논술형 평가 도입의 문제는 어떤 좋음을 더 소중히 여겨야 하는가라는 질문에서 멀리 있지 않습니다. 글쓰기 평가에 있어 인공지능 도입이라는 뜨거운 감자에 집중하다가 정작 근본적인 것을 놓치게 되는 것은 아닌지 다시 한 번 살펴야 할 때입니다.