简述:一项新的研究表明,科学家们已经成功开发出一种算法,能够准确地检测由ChatGPT生成的科学论文,识别率超过99%。这一算法的问世对于防止机器写作的问题具有重要意义。
正文: 近年来,生成式人工智能模型在模仿人类写作方面取得了显著进展,使得人们很难判断一段文本是由机器还是人类所创作。然而,这也引发了教师和讲师的担忧,他们担心学生使用这些工具会导致抄袭行为或者利用机器生成的代码作弊。
针对这一问题,堪萨斯大学的研究团队领导下的科学家们开展了一项研究,旨在开发一种检测ChatGPT生成的科学写作的算法,特别是那些符合学术期刊接受和发表标准的研究论文风格。
他们通过构建数据集并进行训练和测试,成功地开发出一种分类算法,能够准确区分由科学家和ChatGPT所写的论文。研究团队选择了64篇“观点”文章,这是一种常见于科学期刊的特定风格文章,涵盖了从生物学到物理学等各个领域的不同主题。他们让ChatGPT生成描述相同研究内容的段落,总共生成了128篇虚假文章,并使用了1276个AI生成的段落来训练分类器。
随后,研究团队又编制了两个数据集,其中包含30篇真实的观点文章和60篇ChatGPT生成的论文,共计1210个段落用于测试该算法。
初步实验结果显示,该分类器在区分真实科学写作和AI生成论文的整体准确率上达到100%。尽管在段落级别上准确率稍有下降,为92%,但研究人员认为这一分类器非常有效,因为它能够捕捉到人类和AI写作之间的多种风格差异。科学家通常使用更丰富的词汇量,写较长的段落,并且使用更多种类的标点符号,如问号、括号和分号。此外,他们更频繁地使用引号进行引用。与之相比,ChatGPT的写作风格则较不精确,无法提供有关图表或其他科学家姓名的具体信息。真实的科学论文还会使用更多含糊不清的语言,如“然而”、“但是”、“虽然”,以及“这”和“因为”。
然而,需要对这些结果保持审慎。目前尚不清楚该算法在经过轻微人工编辑的由ChatGPT主要生成但经过人工编辑的研究中,或者在其他科学期刊的真实论文中的鲁棒性。
研究人员在论文中表示:“由于这项工作的主要目标是概念验证研究,因此研究范围有限,需要进行后续研究来确定该方法在这类写作示例上的适用性。例如,测试集的规模(180个文档,约1200个段落)较小,更大规模的测试集将更清楚地确定该方法在这类写作示例中的准确性。”
对于这项研究,我们可以看到科学家们努力在AI写作领域取得进展,通过开发算法来检测AI生成的科学论文,有望解决机器写作带来的问题。这一成果为教育界和学术界提供了新的工具,以防止学生产生不当的学术行为。然而,鉴于研究的局限性,我们还需要进一步的研究来验证和完善这一算法的准确性和适用性。
个人观点: 这项研究展示了科学家们对于AI写作的关注,并且他们积极寻求解决方案以应对由此引发的问题。开发出能够准确识别AI生成的科学论文的算法,对于保护学术诚信和知识产权具有重要意义。这一成果将帮助教育界和学术界确保学生的学术作品的原创性,并促进科学研究的可靠性和可信度。然而,我们也需要意识到这项研究仍存在一些限制,需要进一步完善和验证,以确保算法的准确性和适用性。总体而言,这项研究为我们提供了一个乐观的前景,让我们更加了解AI写作的挑战,并为未来的发展指明了方向。