2024/09/18 11:14 字母榜
奥特曼和马保国有什么共同点?答:都爱搞偷袭。
“草莓”的消息已经传了几个月,据说这是OpenAI内部的一个神秘项目,似乎和前代模型颇有些不同。但OpenAI一直讳莫如深,最接近曝光的时刻,是此前CEO山姆·奥特曼(Sam Altman)在社交媒体上发布的一张真·草莓照片。
就在前几天,The Information还在爆料称“草莓”将在未来两周内发布。
即便在如此高的关注度下,OpenAI还是打了世界一个措手不及:当地时间9月12日下午,没有任何预告,没有任何发布会,OpenAI突然发布了新模型。
不过,新模型的名字不像“草莓”那样美味,而是很正经,且饶有深意:o1。
要知道,此前OpenAI发模型一直以“GPT”系列迭代,从2018年的GPT-1到今年5月的GPT-4o无不如是。如今,OpenAI却开辟新条线。
在官宣o1发布的官方博文中,OpenAI这样说道:“作为早期模型,它还不具备使 ChatGPT 有用的许多功能……但对于复杂的推理任务来说,这是一个重大进步,代表了 AI 能力的新水平。鉴于此,我们将计数器重置回1并将此系列命名为 OpenAI o1。”
新模型目前只开放给ChatGPT付费订阅用户和部分程序员,为表该模型还不成熟,暂叫“o1-preview”,preview即为预览之意。此外,OpenAI还顺手发了小模型版本o1-mini。不管是o1-preview还是o1-mini,目前都有每周的回应条数限制。
奥特曼自己在社交媒体X上夸赞新模型是“我们迄今为止最强大、最一致的模型”之外,也强调“o1仍然存在缺陷,仍然有限”。
一向喜欢给ChatGPT泼冷水的AI学者盖里·马库斯(Gary Marcus)则戏谑OpenAI此举是“熟悉的配方”:公布演示demo、向有限的用户开放、筹集资金、再来一遍。
o1发布的当下,OpenAI正在进行新一轮融资。根据彭博社最新消息,本轮融资将是百亿美元规模、目标估值1500亿美元的大事件。
A
先来看看模型本身。
正如此前的传闻,o1的一大侧重点是“推理”。而“推理”的背后的关键,则是“思考”。
对于用户来说,最直观的感受是o1-preview在回答问题之前,会花更长时间。
字母榜在o1-preview模型下,向ChatGPT提问“今天是几月几号星期几”。问题发送后,ChatGPT逐一显示自己正在进行的思考步骤:解答日期问题、审查指引、了解当前日期,而后才给出答案,标明“思考8秒”。
与之相比,在GPT-4o模型下,ChatGPT在3秒内直接给出回答,没有显示中间步骤。
“这是一款通过强化学习训练的新型大预言模型,旨在执行复杂的推理任务。o1在回答问题前会进行思考——它可以在回答用户之前产生一个内部的长‘思维链’。”OpenAI在博文中写道。
这次o1模型发布,OpenAI官方对于技术细节透露得很少,反复强调的就是“思维链”。
据OpenAI解释,o1在尝试解决问题时使用思维链,就像人类在回答一个困难问题之前长时间地思考。通过强化学习,o1学会了精细化其思维链并优化使用策略。它能够识别和纠正自己的错误,学会将复杂的步骤分解得更简单。当前的方法不起作用时,它会尝试不同的方法。
“这个过程极大地提高了模型的推理能力。”
那o1的能力究竟有多强呢?除了OpenAI一连发布的数条演示视频之外,最有说服力的还得是测试成绩。OpenAI表示,在许多推理密集的基准测试中,o1的表现“与人类专家相媲美”,优于以前的技术。例如在国际奥数考试(IMO)中,以前的技术得分13%,o1的得分高达83%。
在 Codeforces 编程比赛中,o1拿到89%的优异成绩。OpenAI基于o1还针对性地开发了更擅长编程的o1-ioi,成绩一举超过93%的参赛者。
另一个被OpenAI特别拿出来“炫耀”的测试是GPQA-diamond,这是一个化学、物理学和生物学专业知识的基准测试。OpenAI邀请了拥有博士学位的专家一同比拼,发现“o1的表现超过了这些人类专家”。
OpenAI还称,启用视觉感知能力后,o1在MMMU测试中的得分为78.2,%,“成为第一个能够与人类专家竞争的模型”。此外,57个MMLU子类别中,o1在54个子类别上超过了GPT-4o。
总之,o1比起OpenAI之前的模型,更注重推理能力,在数学和编程等方面的能力尤其得到提升,说夸张点儿简直是拳打博士,脚踢专家,而且通过“思维链”,还有望减少模型的幻觉。
B
不过,目前o1还处在比较早期的阶段,正如奥特曼强调的“还有缺陷,仍然有限”。
仅在字母榜的浅浅尝试中,o1-preview就发生过错误。如提问“9.11和9.9哪个大”,GPT-4o回答错误,o1-preview同样回答错误,一本正经地表示“9.11确实大于9.9.因为9.11(即9.11)比9.9(9.90)要大”。啰唆中带着一丝滑稽,更别提思考花费了15秒。
The Information也报道称,一些试用了o1-preview的用户表示,很多互动“不值得额外等待10到20秒的时间”,他们更喜欢GPT-4o的响应速度。
目前开放给付费用户的是o1-preview和o1-mini,但次数有限制:o1-preview每周30条消息,o1-mini每周50条消息。
下周开始,ChatGPT的企业用户和教育(Edu)用户也可以访问这两种模型。OpenAI还表示未来想向所有用户免费提供o1-mini,但具体的时间并未公布。
这还是OpenAI首次在发布模型的时候加上类似“preview(预览)”的后缀,此前不管是GPT-4还是GPT-4o都是直接发布完全体。
o1的一个不容忽视的特点是:贵。
开发人员访问o1的成本非常高:在API方面,o1-preview每100万个输入令牌或模型解析的文本块收费15美元,是GPT-4o的三倍,每100万个输出令牌收费60美元,是GPT-4o的四倍。
The Atlantic在报道中分析称,o1专门被设计成需要更多时间的,这必然会消耗更多资源,增加AIGC盈利的难度。
C
本文开头提到的马库斯(Gary Marcus)是人类神经科学和人工智能交叉领域的学者,纽约大学荣誉教授,同时也是AI初创公司Geometric Intelligence的创始人兼CEO,他更加深入人心的角色是“AI界的刺儿头”,多次批评OpenAI。
在他看来,OpenAI突然发布o1-preview的举动更多是一种宣传手段。
毕竟OpenAI正在进行一轮重要的融资,据彭博社近日的最新报道,OpenAI正在商谈以1500亿美元估值从投资者那里筹集65亿美元,此外还想以循环信贷的方式从银行筹集50亿美元。
“发demo,向有限用户开放、筹钱、重复”,马库斯这样总结OpenAI的“手段”。
今年7月,The Information曾报道OpenAI今年可能亏损高达50亿美元。其中OpenAI今年的员工成本约15亿美元,AI训练和推理成本可能高达70亿美元,而年收入则预计在35亿美元到45亿美元之间。
当时The Information就预言,照这个烧钱速度,OpenAI很快就得出来融资,上一次OpenAI的重要融资还是2023年初,微软投了百亿美元。
OpenAI已经不是第一次在关键节点释放“不成熟的产品”。
去年10月,OpenAI传出寻求出售股票的消息,当时被传的可能估值是860亿美元。但是次月OpenAI发生了惊人的高层巨变,奥特曼被踢出公司,又很快重回CEO岗位,赢得了“宫斗”。但股票出售计划由此被短暂耽搁,直到11月底才有交易“重回正轨”的消息。彼时就有知情人士表示,员工担心这次突发事件会影响股票出售,影响公司的估值。
有趣的是,在今年2月15日,OpenAI突然公布了一个全新的视频生成模型Sora,演示demo引起外界震动。不出三日,《纽约时报》报道,OpenAI完成了员工出售股份的交易,公司估值“如期”超过800亿美元。
如今已经过去了半年多,Sora迟迟未向大众开放,甚至没有推进大规模的测试。外界开始怀疑,Sora其实根本没有足够的算力支撑运行。市场研究机构Factorial Funds发布的报告认为,部署Sora需要72万张英伟达***芯片。
9月初,《台湾经济日报》报道台积电的A16埃米级芯片已经有大客户下单,除了苹果之外,还有OpenAI。而OpenAI将用定制芯片提升Sora的视频生成能力。这似乎也印证着此前Sora遇到了算力卡点。
如今草莓味的ChatGPT来了,也许很快,我们就能看到OpenAI成功完成新一轮融资、估值超万亿元的消息。
榜单收录、高管收录、融资收录、活动收录可发送邮件至news#citmt.cn(把#换成@)。