NLP 每周论文快讯
WizardMath:通过强化的Evol-Instruct增强大型语言模型的数学推理能力
??标题:WizardMath: Empowering Mathematical Reasoning for Large Language Models via Reinforced Evol-Instruct
??链接:http://arxiv.org/abs/2308.09583v1
??作者:Haipeng Luo, Qingfeng Sun, Can Xu, Pu Zhao, Jianguang Lou, Chongyang Tao, Xiubo Geng, Qingwei Lin, Shifeng Chen, Dongmei Zhang
??代码链接:https://github.com/nlpxucan/wizardlm
? stars:5.3k
??更新时间:2023-08-18
? 关键内容:
论文提到了一种名为WizardMath的方法,通过将强化学习应用于数学领域,增强了大型语言模型(LLM)在数学推理任务中的能力。通过广泛实验,研究人员发现WizardMath在两个数学推理基准上表现出非凡的功能,超过了其他开源LLM模型。
自动生成API文档摘要:提高开发人员信息提取效率的新方法
??标题:Enhancing API Documentation through BERTopic Modeling and Summarization
??链接:http://arxiv.org/abs/2308.09070v1
??作者:AmirHossein Naghshzan, Sylvie Ratte
??代码链接:https://github.com/scam2023-bert/bertopic
? stars:0
??更新时间:2023-08-17
? 关键内容:
1.?本文提出了一种利用BERTopic的方法,针对解释应用程序编程接口(API)文档的复杂性,自动生成API文档的摘要,以提高开发人员的信息提取效率。
2.?通过对生成的摘要和主题进行评估,该方法展示了良好的性能、一致性和互操作性。
3.?该研究为API文档分析领域做出了贡献,通过提供对重复主题的见解、识别常见问题和生成潜在解决方案,增强了API文档理解的可访问性和效率。
预训练语言模型
思想图(GoT):提升大型语言模型的提示功能
??标题:Graph of Thoughts: Solving Elaborate Problems with Large Language Models
??链接:http://arxiv.org/abs/2308.09687v1
??作者:Maciej Besta, Nils Blach, Ales Kubicek, Robert Gerstenberger, Lukas Gianinazzi, Joanna Gajda, Tomasz Lehmann, Michal Podstawski, Hubert Niewiadomski, Piotr Nyczyk, Torsten Hoefler
??代码链接:https://github.com/spcl/graph-of-thoughts
? stars:19
??更新时间:2023-08-18
? 关键内容:
1.?介绍了思想图(GoT)框架,提高了大型语言模型(LLM)中的提示功能。
2. 揭示了GoT能够对LLM作为任意图生成的信息进行建模,通过顶点和边的关系提炼整个思想网络的本质。
3. 证明了GoT在不同任务上相比传统范式(如ToT)具有优势,提高了分拣质量并降低了成本。
ChatHaruhi:基于大型语言模型的角色扮演聊天机器人
??标题:ChatHaruhi: Reviving Anime Character in Reality via Large Language Model
??链接:http://arxiv.org/abs/2308.09597v1
??作者:Cheng Li, Ziang Leng, Chenxi Yan, Junyi Shen, Hao Wang, Weishi MI, Yaying Fei, Xiaoyang Feng, Song Yan, HaoSheng Wang, Linkang Zhan, Yaokai Jia, Pingyu Wu, Haozhen Sun
??代码链接:https://github.com/LC1332/Chat-Haruhi-Suzumiya
? stars:0
??更新时间:2023-08-18
? 关键内容:
1.?通过改进的提示和从脚本中提取的字符记忆,我们提出了一种算法来控制语言模型,以模仿特定的虚构角色。
2.?我们构建了ChatHaruhi数据集,涵盖32个中文/英文电视/动漫角色的模拟对话,拥有超过54k对话。
3.?自动和人工评估结果表明,我们的方法提高了基线的角色扮演能力。
机器翻译
SOTASTREAM:一种灵活的数据生成与使用分离的机器翻译方法
??标题:SOTASTREAM: A Streaming Approach to Machine Translation Training
??链接:http://arxiv.org/abs/2308.07489v1
??作者:Matt Post, Thamme Gowda, Roman Grundkiewicz, Huda Khayrallah, Rohit Jain, Marcin Junczys-Dowmunt
??代码链接:https://github.com/marian-nmt/sotastream
? stars:5
??更新时间:2023-08-14
? 关键内容:
1.?提出了一种将数据生成与数据使用分开的替代方法,消除了传统数据准备步骤的静态性和不可更改性。
2.?发布了开源工具包SOTASTREAM,实现了这种方法,缩短了训练时间,增加了灵活性,降低了实验管理的复杂性,并减少了磁盘空间占用。
3. 证明这种方法不会影响训练模型的准确性,同时提供了一组用户可定义的运算符,用于动态修改数据流。
文本生成与摘要
ChatEval:多智能体内容评估框架
??标题:ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate
??链接:http://arxiv.org/abs/2308.07201v1
??作者:Chi-Min Chan, Weize Chen, Yusheng Su, Jianxuan Yu, Wei Xue, Shanghang Zhang, Jie Fu, Zhiyuan Liu
??代码链接:https://github.com/chanchimin/chateval
? stars:12
??更新时间:2023-08-14
? 关键内容:
1.?本文探索了大型语言模型(LLM)在文本评估中作为人类评估替代品的潜力。
2.?通过多智能体辩论框架,我们超越了单智能体提示策略,提高了处理复杂任务的效率和有效性。
3.?我们构建了一个名为ChatEval的多智能体裁判团队,模仿人类评估过程,超越了纯文本评分。
领取专属 10元无门槛券
私享最新 技术干货