博而不士的开源大言语模型巡展第一站
在人工智能畛域，聊天机器人不时是一个具备应战性和吸引力的钻研方向。随着深度学习和自然言语处置技术的开展，聊天机器人的才干也在不时优化，从简略的基于规定或检索的系统，到复杂的基于生成的系统，从繁多的义务型对话，到多样的闲谈型对话。近年来，以GPT-3为代表的大规模预训练言语模型（PLM）为聊天机器人提供了新的或者性，经过在海量的文本数据上启动无监视学习，PLM可以捕捉到丰盛的言语常识和语义消息，从而提高生成对话的品质和多样性。但是，PLM也存在一些疑问，例如高昂的训练老本、难以获取和处置的数据集、不足共性化和情感召的表白等。为了处置这些疑问，一个名为Vicuna的开源聊天机器人应运而生，它是基于LLaMA模型和ShareGPT数据集训练的，能够到达凑近ChatGPT/Bard的品质，而且显著优于其余基准模型。本文将引见Vicuna的基本状况、功用状况和特征状况，并给出总体评估。
Vicuna是一个由LMSYS Org开发和分享的开源聊天机器人名目，其称号起源于一种生存在南美洲高原上的羊驼科生物。Vicuna共有两个版本，区分是Vicuna-7b-delta-v0和Vicuna-13b-delta-v0，区分领有70亿和130亿个参数。这两个版本都是在2023年3月至4月之间训练进去的，基于LLaMA模型和ShareGPT数据集。LLaMA模型是一个轻量级、低老本、高效率的PLM，它驳回了一种陈腐的混合留意力机制（Hybrid Attention Mechanism），联合了自留意力（Self-Attention）和局部留意力（Local Attention），从而升高了计算复杂度和内存消耗，同时坚持了较高的示意才干。ShareGPT数据集是一个由用户共享的对话数据集，蕴含了超越1亿条来自不同畛域、主题、格调和情感的对话样本，笼罩了闲谈、问答、故事、诗歌、歌词等多种类型。经过在LLaMA模型上微调ShareGPT数据集，Vicuna可以取得更丰盛、更多样、更共性化、更情感召的对话才干。Vicuna的总体训练流程如上图所示。
Vicuna的功用令人印象深入。依据LMSYS Org颁布的博客文章，Vicuna在不同的义务上都表现出了优秀的水平，并且与其余几个出名或最新的聊天机器人启动了对比测试。结果显示，Vicuna在品质、多样性、分歧性等目的上都到达了凑近ChatGPT/Bard（目前被以为是最好的聊天机器人之一）的水平，并且显著优于其余基准模型。以GPT4为裁判，Vicuna和其余模型的评估对比如上图所示。值得一提的是，Vicuna训练所破费的时间和资源都远远低于ChatGPT/Bard，这也表现了Vicuna的高效性和低老本色。据LMSYS Org泄漏，Vicuna-7b-delta-v0只用了一台NVIDIA A100 GPU训练了两天，而Vicuna-13b-delta-v0只用了四台NVIDIA A100 GPU训练了三天。相比之下，ChatGPT/Bard则必需数百台GPU训练数周甚至数月。这种渺小的差距说明了Vicuna在训练效率上的好处，也为更多的钻研者和开发者提供了愈加便捷和可行的模式来构建自己的聊天机器人。几个模型的开源状况以及训练老本如下图所示。
Vicuna的特征状况主要体如今三个方面，一是其开源性，二是其经常使用了GPT-4作为评委，三是其训练方法的翻新性。首先，Vicuna是一个齐全开源的名目，任何人都可以不要钱地经常使用、修正、分享和贡献Vicuna的代码和模型。这使得Vicuna具备很强的可裁减性和可定制性，用户可以依据自己的需求和喜好来调整Vicuna的参数、数据、格调等。同时，开源也无利于促成聊天机器人畛域的交换和翻新，让更多的人参与到这个幽默而又无心义的事业中来。其次，Vicuna经常使用了GPT-4作为评委来启动模型评估。GPT-4是目前最先进的PLM之一，它领有超越1000亿个参数，并且在多个自然言语处置义务上都取得了最佳或凑近最佳的结果。经过让GPT-4对不同聊天机器人生成的对话启动打分和评估，Vicuna可以取得一个愈加主观、公正、威望的反应，从而更好地优化自己的功用。最后，Vicuna驳回了一种翻新的训练方法，即基于用户共享的对话数据集ShareGPT。ShareGPT是一个由用户被动贡献和分享的对话数据集，它蕴含了来自不同畛域、主题、格调和情感的对话样本，笼罩了闲谈、问答、故事、诗歌、歌词等多种类型。这种数据集具备很高的品质、多样性、共性化和情感召，可以为聊天机器人提供愈加丰盛和实在的言语常识和语义消息。
作为Alpaca之后第一个开源的大言语模型，Vicuna掀起了开源模型热潮的序幕。Vicuna用实例证实了小团队就可以用极低的代价训练出属于自己的PLM。不只如此，Vicuna也证实了，在ShareGPT等高品质的数据集的基础上，ChatGPT/Bard这样的专属模型的功用也并非是高无法攀的。截至目前，Vicuna依然是开源模型的重要功用标杆，可算的上是这轮开源模型热场的先锋官！
博览AI的微妙，博学AI的常识，博交AI的好友，我是博而不士，欢迎添加我的AI探求之旅。关注我，一同玩转AI。
