展会信息港展会大全

李开复公司陷入LLaMa架构命名争议,零一万物回应:将进行代码更新|最前线
来源:互联网   发布日期:2023-11-15 13:46:39   浏览:3465次  

导读:文|林炜鑫 编辑|邓咏仪 本月初新发布的大模型「Yi」这两天卷入一场争议。科技新闻社区Hacker News的一篇帖子指出,Yi-34B模型完全使用了LLaMa的架构,只是重新命名了两个张量(Tensor,通常用来表示模型的输入、输出和参数),却未提及LLaMa。 帖子引起业...

文|林炜鑫

编辑|邓咏仪

本月初新发布的大模型「Yi」这两天卷入一场争议。科技新闻社区Hacker News的一篇帖子指出,Yi-34B模型完全使用了LLaMa的架构,只是重新命名了两个张量(Tensor,通常用来表示模型的输入、输出和参数),却未提及LLaMa。

李开复公司陷入LLaMa架构命名争议,零一万物回应:将进行代码更新|最前线

帖子引起业内关注

「Yi」是由李开复创办的AI公司「零一万物」打造的国产开源大模型,拥有200K上下文窗口,可处理约40万字文本。自推出后,零一万物表示,Yi模型在Hugging Face英文开源社区平台和C-Eval中文评测榜单中,取得多项SOTA国际最佳性能指标认可,成为第一家登顶Hugging Face全球开源模型排行榜的国产模型。

零一万物昨日回应表示,Yi模型的研发借鉴了行业顶尖水平的公开成果;之所以改名是为了满足训练实验的需求;团队将更新代码。

这场争议的源头是零一万物Hugging Face社区的一条留言。一位ID名为「ehartford」的工程师数天前便发现了这个问题,并指出这一行为没有符合LLaMa规定的许可协议。

李开复公司陷入LLaMa架构命名争议,零一万物回应:将进行代码更新|最前线

ehartford朝Yi团队喊话

有开发者跟帖道:“如果他们确实用了Meta LLaMa结构、代码库和所有相关资源,需要遵守LLaMa规定的许可协议。”

因此,另一位开发者动手把张量名字改了回去,重新放到Hugging Face上。

很快,有人翻出了前阿里首席AI科学家、AI创业者贾扬清的朋友圈:

李开复公司陷入LLaMa架构命名争议,零一万物回应:将进行代码更新|最前线

贾扬清朋友圈

需要区别的是,Yi引发的争议在于其模型架构的命名,与抄袭、简单套壳有本质区别。LLaMa本就是开源的模型,使用LLaMa的架构是正常的大模型训练步骤,即使是选择同一种架构,用不同数据集训练出来的模型也会截然不同。

一位开发者则向36氪表示,外界苛责的是使用开源LLaMa-2模型架构,却改了名字,“好比造了跟奔驰一样的车,把牌子换了名字,把方向盘改为动力控制转向器”。在他看来,用了LLaMa架构,“大方承认就好”。

李开复公司陷入LLaMa架构命名争议,零一万物回应:将进行代码更新|最前线

有开发者晒出Yi和LLaMa的代码对比

昨天下午,「Yi」团队开源总监在Hugging Face社区回复,命名问题是团队的疏忽,“在大量的训练实验中,我们对代码进行了多次重命名以满足实验要求,但在发布前没有将它们切换回来”。他表示,团队将把张量名字从Yi改回LLaMa,并且重新发布。

李开复公司陷入LLaMa架构命名争议,零一万物回应:将进行代码更新|最前线

Yi团队在社区上的回应

附零一万物给机器之心的回应:

GPT 是一个业内公认的成熟架构,LLaMa 在 GPT 上做了总结。零一万物研发大模型的结构设计基于 GPT 成熟结构,借鉴了行业顶尖水平的公开成果,同时基于零一万物团队对模型和训练的理解做了大量工作,这是我们首次发布获得优秀结果的地基之一。与此同时,零一万物也在持续探索模型结构层面本质上的突破。

模型结构仅是模型训练其中一部分。Yi 开源模型在其他方面的精力,比如数据工程、训练方法、baby sitting(训练过程监测)的技巧、hyperparameter 设置、评估方法以及对评估指标的本质理解深度、对模型泛化能力的原理的研究深度、行业顶尖的 AI Infra 能力等,投入了大量研发和打底工作,这些工作往往比起基本结构能起到更大的作用跟价值,这些也是零一万物在大模型预训练阶段的核心技术护城河。

在大量训练实验过程中,由于实验执行需求对代码做了更名,我们尊重开源社区的反馈,将代码进行更新,也更好的融入 Transformer 生态。

我们非常感谢社区的反馈,我们在开源社区刚刚起步,希望和大家携手共创社区繁荣,Yi Open-source 会尽最大努力持续进步。

李开复公司陷入LLaMa架构命名争议,零一万物回应:将进行代码更新|最前线

欢迎交流

赞助本站

AiLab云推荐
推荐内容
展开

热门栏目HotCates

Copyright © 2010-2024 AiLab Team. 人工智能实验室 版权所有    关于我们 | 联系我们 | 广告服务 | 公司动态 | 免责声明 | 隐私条款 | 工作机会 | 展会港