챗봇 시대의 대학 시험 운영하기

• 오픈소스 전략 수업의 시험에서 학생들이 스스로 학습하도록 유도하기 위해, 인터넷 접속과 자료 활용을 모두 허용하는 비전통적 시험 방식을 운영해봄
• 학생들에게 챗봇 사용 여부를 사전에 선택하게 하고, 사용 시에는 출처 명시·프롬프트 공개·오류 분석을 의무화
• 60명 중 57명이 챗봇을 사용하지 않았으며, 이들의 성적은 전반적으로 비사용 그룹이 더 우수한 경향
• 학생들은 부정행위에 대한 두려움과 교수의 평가 기준에 대한 인식 때문에 챗봇 사용을 꺼리는 경향을 보임
• 교수는 ‘의식의 흐름(stream of consciousness)’ 파일 작성을 통해 학생의 사고 과정을 파악하고, 챗봇보다 자기 사고력 강화의 중요성을 강조

시험 운영 방식

• 시험은 모든 자료와 인터넷 사용 허용, 시간 제한 없음, 학생 간 토론 가능, 자율적 문제 출제 가능 등 개방적 규칙으로 구성
  • 학생들은 시험 복장도 자유롭게 선택 가능, 전통 의상부터 유머러스한 복장까지 다양하게 참여
• 이러한 방식은 시험을 학습의 연장선으로 만들고, 긴장감을 줄이는 목적

챗봇 사용 선택 제도

• 학생은 시험 전 챗봇 사용 여부를 명시적으로 선택해야 함
  • 옵션 A: 챗봇 미사용, 사용 시 부정행위로 간주
  • 옵션 B: 챗봇 사용 가능, 단 사용 시마다 출처·프롬프트·오류 분석을 제출해야 함
• 챗봇의 오류는 인간의 실수보다 더 큰 감점 요인으로 처리, 사용자는 결과에 대한 책임을 져야 함

학생들의 선택과 성적 분포

• 60명 중 57명이 챗봇을 사용하지 않음
  • 개인적 선호 그룹: 자율적 학습을 중시, 성적 15~19점
  • 비사용 그룹: 챗봇 상호작용을 싫어함, 평균 13점
  • 실용 그룹: 시험 특성상 불필요하다고 판단, 12~16점
  • 헤비유저 그룹: 챗봇 의존으로 혼란 발생, 대부분 8~11점
• 챗봇 사용 학생 3명 중
  • 1명은 챗봇을 사용하는 것을 잊어먹음
  • 1명은 개념 확인용으로 최소한의 사용
  • 1명은 복잡한 LLM 세팅으로 오히려 이해도 저하(하나의 LLM에서 물어보고, 다른 LLM에 확인 요청)
    • 챗봇없이 대화해보니 이해도가 충분한데, 챗봇 출력물때문에 오히려 더 이해를 못함. 챗봇이 그에게 오히려 해가 된 셈

부정행위에 대한 세대적 인식

• 대부분의 학생이 챗봇을 신뢰하지 않거나 부정행위로 오해받을까 두려워함
• 일부 학생은 Google의 자동 생성 답변 기능조차 부정행위로 오해받을까 걱정
• 현재 대학 제도에서는 부정행위 시 최대 3년간 대학 출입 금지 등 강력한 제재 존재
• 교수는 과거 세대와 달리 학생들이 시험 전 협력조차 꺼리는 문화에 놀라움을 표현

‘의식의 흐름’ 파일 실험

• 학생들에게 시험 중 자신의 생각을 실시간으로 기록하도록 요구
  • 수정·삭제 금지, 복사 금지, URL만 허용
  • 챗봇 사용 금지, 오직 자신의 사고만 기록
• 60명 중 55명이 제출, 24명은 git-send-email로 제출 성공
• 이 기록을 통해 학생의 스트레스와 사고 과정을 파악 가능
  • 일부 학생은 글을 쓰며 문제 이해가 명확해지고 불안이 완화됨을 표현
  • 교수는 이 파일을 통해 실제 이해력은 있으나 표현이 부족한 학생을 구제

결론과 교육 철학

• 교수는 이 방식을 다음 해에도 유지할 계획
• 챗봇은 도구로서의 활용 능력이 중요하며, 잘 다룰 수 있다면 굳이 필요하지 않음
• 진짜 문제는 기술이 아닌 구세대의 인프라 파괴와 비효율적 시스템
  • Outlook 도입으로 이메일 경험이 악화, 학생들은 이메일을 ‘총장 스팸함’이라 부름
  • 많은 학생이 Git과 GitHub의 차이조차 모름, Microsoft 종속 환경의 결과
• 교수는 학생들에게 “내 세대보다 더 빠르고 깊게 배우라”는 메시지를 전하며,
  세대 간 학습의 진보와 비판적 사고의 계승을 강조