大模型遭泄两月后 Meta意外变赢家

　　作者:木沐

　　编译:文刀

　　一份被意外泄露的谷歌内部文件，将Meta的LLaMA大模型“非故意开源”事件再次推到聚光灯前。

　　“泄密文件”的作者据悉是谷歌内部的一位研究员，他大胆指出，开源力量正在填平OpenAI与谷歌等大模型巨头们数年来筑起的护城河，而最大的受益者是Meta，因为该公司2月意外泄露的LLaMA模型，正在成为开源社区训练AI新模型的基础。

　　几周内，开发者与研究人员基于LLaMA搞起微调训练，接连发布了Alpaca、Vicuna、Dromedary等中小模型，不只训练成本仅需几百美元，硬件门槛也降低至一台笔记本电脑甚至一部手机，测试结果不比GPT-4差。

　　除了AI模型之外，FreedomGPT等类ChatGPT应用也如雨后春笋般涌现，基于LLaMa的“羊驼家族”不断壮大，这位研究员认为，Meta很可能借此形成生态，从而成为最大赢家。

　　事实上，人工智能的世界里，的确有一部分进入了“安卓时刻”，这个部分就是开源社区。特斯拉前AI主管Andrej Karpathy评价开源社区中的AI进化时称，他看到了“寒武纪大爆发的早期迹象”。

　　在AI竞速的赛道上，奔跑的不只有科技巨头，开源社区正在从小径中涌入大道，成为人工智能开发层面不可忽视的力量。

　　LLaMa意外开源养出 “羊驼家族”

　　“我们没有护城河，OpenAI 也没有。”一篇来自Google 内部的文章在 SemiAnalysis 博客传播，文章作者认为，Meta的LLaMa开源模型快速聚集起生态雏形，正在消除与GPT之间的差距，开源AI最终会打破 Google与OpenAI的护城河。

　　这篇文章让人重新注意到了Meta的 LLaMA 大模型，该模型代码被泄露后的2个月里意外成了开源社区训练自然语言模型的基础，还产生了诸多中小模型及应用。

　　时间回到今年2月24日，Meta推出大语言模型LLaMA，按参数量分为7B、13B、33B和65B四个版本。别看参数量远远不及GPT-3，但效果在AI圈内获得了一些正面评价，尤其是能在单张GPU运行的优势。

　　Meta在官方博客中曾称，像LLaMA这种体积更小、性能更高的模型，能够供社区中无法访问大量基础设施的人研究这些模型，进一步实现人工智能大语言模型开发和访问的民主化。

　　“民主化”来得异常快。LLaMA推出一周后，一位名叫llamanon的网友在国外论坛4chan上以种子文件的方式上传了7B和65B的LLaMA模型，下载后大小仅为 219GB。此后，这个种子链接被发布到开源社区GitHub，下载量超过千次。LLaMA就这样被泄露了，但也因此诞生了诸多实验成果。

　　最初，名叫 Georgi Gerganov 的开发者开源了一个名为llama.cpp的项目，他基于LLaMA 模型的简易Python语言的代码示例，手撸了一个纯 C/C++ 语言的版本，用作模型推理。换了语言的最大优势就是研究者无需 GPU、只用 CPU能运行LLaMA模型，这让大模型的训练硬件门槛大大降低。

　　正如谷歌那位研究员写得那样，“训练和实验的门槛从一个大型研究机构的全部产出降低到1个人、1晚上和1台性能强大的笔记本电脑就能完成。”在开发者的不断测试下，LLaMA已经能够在微型计算机树莓派4和谷歌Pixel 6手机上运行。

　　开源社区的创新热情也彻底点燃，每隔几天都会有新进展，几乎形成了一个“LLaMA(羊驼)生态”。

　　3月15日，斯坦福大学微调LLaMA后发布了Alpaca(美洲驼)模型，仅用了52K数据，训练时长为3小时。研究者宣称，测试结果与GPT-3.5不分伯仲，而训练成本还不到600美元，在一些测试中，Alpace与GPT-3.5的获胜次数分别为90对89。

　　随后，加州大学伯克利分校、卡内基梅隆大学、加州大学圣地亚哥分校的研究人员又提出新的模型Vicuna(小羊驼)，也是基于LLaMa做出来的，训练成本仅300美元。

　　在该项目的测评环节，研究人员让GPT-4当“考官”，结果显示，GPT-4在超过90%的问题中更强倾向于Vicuna的回答，并且Vicuna在总分上达到了ChatGPT的92%。

　　用GPT-4测评Vicuna与其他开源模型

　　短短几周，基于LLaMa构建的“羊驼家族”不断壮大。

　　4月3日，伯克利人工智能研究院发布了基于LLaMa微调的新模型 Koala(考拉)，训练成本小于100美元，在超过一半的情况下与 ChatGPT 性能相当;5月4日，卡内基梅隆大学语言技术研究所、IBM 研究院与马萨诸塞大学阿默斯特分校的研究者们，推出了开源自对齐语言模型Dromedary(单峰骆驼)，通过不到300行的人工标注，就能让65B的LLaMA基础语言模型在TruthfulQA(真实性基准)上超越GPT-4。

　　在国内，垂直医疗领域的 “羊驼家族”成员也出现了，哈尔滨工业大学基于LLaMa模型的指令微调，推出了中文医学智能问诊模型HuaTuo(华驼)，该模型能够生成专业的医学知识回答。

　　哈工大推出中文医学智能问诊模型HuaTuo(华驼)

　　基于该模型的开源创新不仅在大模型上，应用层也有多点开花之势。

　　3月31日，AI公司Age of AI推出了语言模型FreedomGPT，正是基于斯坦福大学的Alpaca开发出来的;3月29日，加州大学伯克利分校在它的Colossal-AI基础下发布了ColossalChat对话机器人，能力包括知识问答、中英文对话、内容创作、编程等。

　　从基础模型层到应用层，基于LLaMa所诞生的“羊驼家族”还在一路狂奔。

　　由于被 “开源” 的 LLaMA 出自 Meta 之手，那位发文的谷歌研究员认为，Meta意外成了这场AI竞争中的最大受益者——借助开源社区的力量，Meta获得了全世界顶级开发者的免费劳动力，因为大多数开源的 AI 创新都发生在他们的基础架构内，因此，没有什么能阻止 Meta将这些成果直接整合到他们的产品中。

　　开源力量触发“AI的安卓时刻”

　　ChatGPT引爆AI热后，英伟达的CEO黄仁勋将这股浪潮喻为“AI的iPhone时刻”，他认为，AI行业进入了如iPhone诞生颠覆手机行业时的革命性时间点。而当LLaMA开启开源社区的小宇宙后，网友认为，“AI的安卓时刻”来了。

　　回顾过去，谷歌曾以开源思想让更多的开发者参与到安卓应用生态的建设中，最终让安卓成为电脑与手机的系统/应用主流。如今，LLaMA再次让AI业内看到了开源力量的强大。

　　智能软硬件件开发公司出门问问的CEO李志飞也注意到了谷歌这篇内部声音：

　　“大模型这个领域，Google已经在声势上大幅落后于OpenAI。在开源生态上，如果Google再犹豫不决，后面就算想开源也会大幅度落后于Meta的LLaMA。相反，如果开源，可以把OpenAI的壁垒进一步降低，而且会吸引(或留住)很多支持开源的高级人才。”

　　特斯拉前AI主管Andrej Karpathy认为：

　　“当前开源大模型的生态之势，已经有了寒武纪大爆发的早期迹象。”

　　确实，开发者对开源的AI模型前所未有的热情正在从Github的打星量指标中溢出：Alpaca获得了23.2k星，llama.cpp获26.3k星，LLaMA获20.8k星……而在“羊驼家族”之前，AutoGPT等开源项目也在Github拥有超高的人气，突破100k星。

　　开发者对开源AI模型的打星量

　　此外，为了追赶 ChatGPT，构建大型开源社区的 AI 初创公司Hugging Face 也在近日推出了开源聊天机器人HuggingChat，该机器人的底层模型拥有300 亿个参数，并对外开放了训练数据集。英伟达 AI 科学家 Jim Fan认为，如果后续开发应用程序，Hugging Face将比 OpenAI 更具优势。

　　开源力量来势汹汹，手握OpenAI的微软也并不准备把鸡蛋都放在一个篮子里。今年4月，微软推出了开源模型DeepSpeed Chat，为用户提供了 “傻瓜式” 操作，将训练速度提升了15倍。

　　以LLaMA 为核心的AI开源社区正在平行空间中，与OpenAI等走闭源路线的大模型巨头展开竞速，开源思想与实践中爆发出的创新力量已经不容巨头小觑了。