当人工智能在考试中和你同场竞争,你的胜算还有多少?
昨日,在高考语文结束后,作文题目就一直霸榜微博热搜。很多毕业多年的学子都在感慨,写作文不仅要多看红楼梦,还要懂点围棋知识。
早在一周之前,一名哔哩哔哩up主@图灵的猫就发布了视频,称自己用AI模型预测了2022年高考作文的题目。据这位up本人透露,自身是一名AI系统的资深算法专家,其团队制作的爬虫通过抓取一年内各类媒体上的信息,建立了一套AI系统,才预测出了今年高考作文最可能出现的命题方向。
在6月1日发布的2022年高考作文题AI预测结果公布视频中,该up主介绍了这一套AI系统实现的技术原理:高考作文看似是考试,其实是价值观、人生观和家国意识的引导,这个规则决定着一篇高考作文的得分高低。所以,高考的本质是思政任务,反映了国家意志,这也正是预测高考作文的根本原理。
而深谙此道的命题组,也会从近一年的国际事件、国家政策、会议文件、指导意见和官方报告中,筛选出一批重要度高、范围较小的主题,并最终选出之前高考没有出现过的,且最适合今年任务的高考作文题。而 AI 作为最擅长从大规模数据中挖掘规律的重要工具,其获取的数据越多,分布越合理,也就能够更加准确地预测到最终的结果。
基于以上思考,up主及其团队专门写了一套爬虫。这套爬虫抓取了一年内人民日报、人民网、央视新闻等官媒发表的文章、期刊、报纸以及高层会议的重要文件。然后再通过自然语言处理中的预训练模型和主题建模算法,建立了一套可以理解中文新闻与文章的 AI 系统,并让 AI 系统学习了过去几年的高考作文出题思路,最终预测出了 2022 年高考中最可能出现的 7 个命题方向。
以 " 困难与希望 " 为例,在预测结果中,AI 系统主要基于模型表征提炼出预测主题和核心词,而在学生理解命题的过程中,预测主题可以作为作文主要的写作内容理解方向,模型表征提供的介绍可以作为案例引用植入文章中。而最上面的 " 困难、希望 " 核心词,则可以作为作文标题的主要命题参考方向。
既然高考语文已经结束,那AI预测的准确性到底如何呢?
该up主设计的AI模型预测出的七大命题方向,分别是:困难与希望、拼搏与自强、探索与梦想、创新与发展、奋斗与价值、公平与德育、美与环境。而在今年全国新高考 II 卷中,要求以 " 选择 • 创造 • 未来 " 为主题开展写作,同时提及了 " 科学家、科学攻关、北斗导航系统 " 以及 " 新方法、新思维、新知识 " 等词。在 AI 系统给出的以 " 探索、梦想 " 为主题的命题方向中,北斗、芯片等科技名词是模型表征,主题方向与高考作文命题也有所接近。
总体而言,在今年的高考中,AI 共“押中”了四道作文主题,但up主也客观地指出," 今年各地高考作文结合热点进行命题较多,这才让 AI 系统押对了 4 个命题,但往年的题目一般不会直接从热点进行出题,而是侧面描写和以小见大,这次命中较多也很特殊。"
对于高考作文这类长文本写作来说,不仅要求逻辑连贯、主题清晰,还需具备较高的可读性、创造性。近年来,用AI模型来生成高考作文的尝试已经进行了多次,今年也不例外,但写作水平更多是让人啼笑皆非的“零分作文”。
以昨天网络上热议的全国新高考I卷作文“本手、妙手、俗手”为例,AI生成作文的部分内容如下:
“本手、妙手、俗手”都属于“手”,同理,抄手也属于手。四川著名抄手,到底怎么做呢?小编也很好奇。一般来说需要自己准备抄手皮和猪肉,按照教程包成抄手。煮熟后加芝麻红油,撒上葱末即可食用。好吃的红油抄手就是这样做成的,不说了,小编去试试了。
而在北京卷“像一道闪电”的命题微写作中,AI更是给出了“或或或或或或或或,也嚯嚯不走自家的闪电接口”这种仿写周杰伦歌曲的句子。
显然,上面的AI模型并没有真正理解题目的含义,只是对数据进行了粗浅的处理而已。但在这些“零分作文”以外,昨天还有“数字人考生”亲自参与了高考的作文写作。
由百度推出的数字人度晓晓,也作答了全国新高考Ⅰ卷题为《本手、妙手、俗手》的议论文,引发全网刷屏,曾担任北京高考语文阅卷组组长的申怡老师认为该篇作文“紧扣主题、立意明确,结构完整、语言流畅,而且还善于引经据典、使用修辞手法”,更是给出了48分的成绩。据介绍,根据历年情况,获得48分及以上作文成绩的考生,仅占不到25%,也就是说,数字人度晓晓的作文分数已赶超约75%的高考考生。
除了作文输出的质量高之外,数字人的作文输出效率也很可观。据悉,数字人度晓晓只花费40秒就能根据作文题目创作出40多篇文章,其中的主要原因是获得了百度文心大模型的加持。这个由百度最新推出的ERNIE 3.0 Zeus千亿大模型,通俗点讲,就像是一个见多识广的“尖子生”、“学霸”,能够理解给定的作文题目,再选择符合立意的论据,从开篇引入到结尾扣题,结构完整并做到始终不跑题。此外,百度文心大模型还融合学习了大规模知识和海量数据,可以实现在“博览群书”后广泛自如地“引经据典”, 输出优质作文内容。
在高考作文之外,AI还曾多次参与过高考数学的答题。2017年时,人工智能机器人“准星AI-MATHS”首次公开挑战高考数学,通过对当年的北京文科数学卷和文科全国数学卷Ⅱ进行作答,在完全掐断题库、断网、无人干涉、仅有12台服务器的情况下,分别用时22分钟和10分钟,就获得了105分和100分的成绩。
这个成绩显然已经非常出色,在分析丢分原因时,发现是因为模型不理解应用题的题目含义,本质上还是对于文本的理解出了问题。在人工智能领域,NLP一直被称为是“掌上明珠”,虽然机器视觉早已取得了巨大进步,效果远超人类,但文本相关的各类任务,AI与人类的表现差距依然很大。
因此,想要让人工智能在高考中取得状元级别的分数,在对知识的持续积累之外,重点还是要看与语义理解相关的NLP技术发展到了什么阶段。当然,AI领域技术的迭代更新速度是非常快的,进一步斩获高分或许就是几年内的事情。
不过,对于AI持续挑战高考这件事,最终取得高分只是其次,更大的意义在于将AI的解题能力进行规模化复制和推广,既可以用于辅助教学和批改,也可以将这种能力迁移到其他的考试中去,甚至通过现在大火的“可解释性AI”来启发学生的思维,让学生告别低效的题海战术,真正掌握学习的方法。
参考资料:
1.《2022高考零分作文大赏,AI写的让我在红楼梦里笑成一道闪电》,果壳
2.《AI 押中 4 套高考作文题:科学、玄学还是炒作?》,新浪科技
3.《百度AI数字人度晓晓应战高考作文:40秒写40篇,水平超75%考生》,百度