有很多人担心OpenAI的ChatGPT会帮助学生在考试中作弊,但如果你让它写一份研究生水平的考试,这个聊天机器人的表现会如何?它会通过的--如果只是通过的话。在一项新发表的研究中,明尼苏达大学的法学教授们让ChatGPT为他们学校的四门课程的研究生考试提供答案。人工智能通过了所有四门课程,但平均成绩为C+。在最近的另一篇论文中,沃顿商学院教授克里斯蒂安-特维什(Christian Terwiesch)发现,ChatGPT以B到B-的成绩通过了一次商业管理考试。那么,你不会想用这种技术来打动学术界。
研究小组发现人工智能并不稳定,可以说是很温和。明尼苏达大学的研究小组指出,ChatGPT擅长处理 "基本法律规则 "和总结学说,但在试图确定与案件有关的问题时却陷入困境。Terwiesch说,该生成器在处理简单的运营管理和流程分析问题时 "令人惊讶",但无法处理高级流程问题。它甚至在处理六年级水平的数学问题时也会出错。
还有改进的余地。明尼苏达州的教授们说,他们没有根据具体课程或问题调整文本生成器的提示,并认为学生可以通过定制获得更好的结果。在沃顿商学院,Terwiesch说,机器人善于根据人类的指导来改变答案。ChatGPT本身可能无法在考试或论文中取得好成绩,但作弊者可以让系统生成粗略的答案并对其进行完善。
两个阵营都警告说,学校应该限制技术的使用,以防止基于ChatGPT的作弊。他们还建议改变问题,以阻止人工智能的使用(如专注于分析而不是背诵规则),或增加对那些倚重人工智能的人的挑战。明尼苏达大学说,学生仍然需要学习 "基本技能",而不是依靠机器人的帮助。
这些研究小组仍然认为ChatGPT可以在课堂上占有一席之地。教授可以教学生如何在工作场所依赖人工智能,甚至用它来编写和评分考试。Terwiesch解释说,这项技术最终可以节省时间,这些时间可以花在学生身上,比如更多的学生会议和新的课程材料。