第二届自然语言生成与智能写作技术评测 —— 面向事实一致性的生成评测任务
火遍全网的 ChatGPT 让人惊叹全球热点技术 AIGC(AI Generated Content,人工智能内容生成)的迅速发展,它似乎能够理解和产生复杂的想法,可以回复各种问题,进行有逻辑的对话,可以创作剧情完整的推理小说,甚至能够编写代码,回复丝滑流畅,效果超出预期。但 ChatGPT 目前仍然无法胜任要求事实准确性的任务,比如新闻报道、财务报告等。
由于神经网络生成模型特别是预训练语言模型的迅速发展,机器生成文本的可读性和流畅性不断提升。然而,自动生成的文本中依然经常出现不符合原文或背景的错误事实描述,这种生成的事实一致性问题是自然语言生成技术进行落地应用的主要障碍之一。
2022年12月30日,百度联合中国中文信息学会自然语言生成与智能写作专业委员会、清华大学、哈尔滨工业大学(深圳)共同发起了第二届"千言:面向事实一致性的生成评测竞赛”,以进一步提升自然语言生成的研究水平,推动相关技术的应用发展。赛事为获奖团队提供丰厚的奖金,并将在2023年7月第二届中国自然语言生成与智能写作大会(NLGIW 2023)进行颁奖。
赛题设置:
本次赛事将提供三个对事实一致性有较高要求的生成任务,包括文案生成、摘要生成和对话生成,同时在系统评价中结合文本流畅性和事实一致性两项指标综合评估参赛生成系统的水平,并进一步提升事实一致性评测指标的先进性和丰富性。
文案生成是指根据结构化的商品信息生成合适的广告文案;
摘要生成是指为输入文档生成简洁且包含关键信息的简洁文本;
对话生成是指根据给定的用户个性知识描述,在给定的上下文中,生成合适的对话回复;
赛题日程:
阶段 | 时间 | 说明 |
开启报名 | 2022.12.30 | 参赛队伍报名开始 |
热身阶段 | 2023.1.9 ~ 2023.2.5 | 发布训练集、开发集 |
初赛阶段 | 2023.2.6 ~ 2023.3.31 | 发布测试集1,在线评测榜单开放 |
复赛阶段 | 2023.4.7 ~ 2023.4.10 | 发布测试集2,选手提交最终结果 |
人工评估 | 2023.4.11 ~ 2023.4.30 | 人工评估复赛top10队伍并确定最终排名 |
评测会议 | 2023.7.16 | 在评测研讨会上发布比赛结果 |
赛题奖项:
奖项 | 数量 | 奖品 |
一等奖 | 1名 | 20000元(税前)+ 获奖证书 |
二等奖 | 1名 | 10000元(税前)+ 获奖证书 |
三等奖 | 1名 | 5000元(税前)+ 获奖证书 |
比赛组织:
指导单位:中国中文信息学会
主办单位:中国中文信息学会 自然语言生成与智能写作专业委员会(筹)
承办单位:清华大学、哈尔滨工业大学(深圳)、百度
评测委员会:黄民烈(清华大学)、户保田(哈尔滨工业大学(深圳))、肖欣延(百度)
比赛组织:
访问https://aistudio.baidu.com/aistudio/competition/detail/726/0/introduction
比赛交流:
关注百度NLP公众号,发送关键词[NLG]百度NLP公众号。