AI cho giảng dạy

Tool phát hiện bài làm bằng AI không đáng tin, thầy cô nên làm gì thay?

Bạn nghi bài của học sinh do AI viết, rồi paste vào một tool “phát hiện AI” thấy ra “90% AI”. Khoan kết luận nha. Mình đưa vài số liệu để thấy vì sao nên cẩn thận.

Nghiên cứu của Stanford

Tháng 7/2023, nhóm Stanford (Liang và cộng sự, đăng trên tạp chí Patterns) thử 7 tool phát hiện GPT với bài viết của người không phải bản ngữ tiếng Anh. Kết quả: 61,22% bài luận TOEFL do người thật viết bị đánh dấu nhầm là AI.

Nghĩa là tool dễ “oan” cho người viết tiếng Anh không phải tiếng mẹ đẻ. Học sinh mình học ngoại ngữ cũng ở trong nhóm này.

(Nghiên cứu này về bài tiếng Anh. Mình chưa có số liệu cho bài tiếng Việt, nên không suy ra được.)

OpenAI tự dừng tool của mình

Ngày 20/07/2023, OpenAI ngừng AI classifier của họ vì “low rate of accuracy” (độ chính xác thấp). Theo đánh giá của chính OpenAI trên bộ test tiếng Anh:

  • Chỉ nhận đúng 26% văn bản do AI viết là “likely AI-written”.
  • Gắn nhầm 9% văn bản của người thật là do AI viết.

Tức là ngay cả công ty làm ra ChatGPT cũng không làm tool đủ tin cậy.

Vậy thầy cô làm gì?

Mình gợi ý vài cách (đây là kinh nghiệm và gợi ý của mình, không phải kết luận của nghiên cứu):

  1. Không dùng điểm của detector làm bằng chứng duy nhất. Có thể dùng để tham khảo, đừng dùng để phạt.
  2. Xem quá trình, không chỉ sản phẩm. Yêu cầu nộp dàn ý, bản nháp, lịch sử chỉnh sửa.
  3. Cho viết ngắn trên lớp. 10 phút viết tay để biết giọng văn thật của học sinh.
  4. Hỏi miệng 2 phút. “Em giải thích lại đoạn này giúp thầy/cô nha.” Hiểu bài thì trả lời được.
  5. Thiết kế đề khó copy. Gắn với ví dụ trong lớp, địa phương, trải nghiệm của chính học sinh.
  6. Nói rõ luật chơi. Ghi trong đề: được dùng AI ở bước nào, phải ghi lại ra sao.

Use case: bài văn nghi ngờ

Bạn thấy bài nghị luận của một em khác hẳn mọi khi. Thay vì paste vào detector rồi kết luận, bạn:

  1. Hỏi em về dàn ý và nguồn ý tưởng.
  2. Cho em viết lại một đoạn ngắn trên lớp.
  3. Trao đổi riêng, không công khai.

Prompt để AI giúp bạn soạn câu hỏi trao đổi:

Bạn là giáo viên [môn] lớp [lớp]. Học sinh nộp bài về [chủ đề]. Gợi ý 5 câu hỏi miệng ngắn, thân thiện, giúp mình hiểu em có nắm nội dung bài mình viết không. Không buộc tội.

Đừng dán bài kèm tên thật của học sinh nha.

Tóm lại

Stanford cho thấy 61,22% bài TOEFL của người không bản ngữ bị đoán nhầm là AI. OpenAI dừng tool của họ vì chỉ nhận đúng 26%. Nên đừng phạt học sinh chỉ vì điểm của detector. Xem quá trình làm bài, cho viết trên lớp và trao đổi trực tiếp công bằng hơn nhiều.

Nguồn