谷歌学术(谷歌Meta离职团队4个月训出比肩GPT-4大模型，清华北航校友参与)

谷歌Meta去职团队4个月训出比肩GPT-4大模子，清华北航校友到场

文｜李然

编纂｜苏建勋

大模子牌桌上又多一名高端玩家。

图源：X

试用链接：
https://chat.reka.ai/auth/login

由前DeepMind, Google Brain, FAIR出走的大佬协同创建的Reka AI，公布了它们最新的多模态大模子Reka Core，各项才能全盘比肩GPT-4！

图源：官网

在几项最紧张的测试集上，它的才能和GPT-4，Gemini Ultra打得有来有回。

并且它能支持3种模态数据的殽杂输入，现在在主流大模子产物中能做到的仅有Gemini，并且它的多模态功能乃至比Gemini Ultra还要略强。

图源：官网

具体来说，Reka Core的主要武艺亮点表如今这几个方面：

• 多模态才能：具有图像，视频和音频了解才能。它对图像、视频和音频具有强壮的上下文了解才能，是现在市面上除了Gemini之外唯二的全模态才能模子。
• 128K上下文窗口。
• 极强的推理才能。

Reka Core具有超强的推理才能（包含言语和数学），因此合适实行必要繁复分析的职责。

而除了超大杯Reka Core之外，团队之前就以前放出了两个小型的开源模子Reka Flash和Reka Edge。

最令人咂舌的是，这个模子功能完全对标GPT-4的产物诞生于一个仅有22人的团队——

成员几乎都是长程办公，接近半数亚裔，分布在包含加州、西雅图、伦敦、苏黎世、香港和新加坡等地。

图源：官网

用他们本人的说法，这只“小而凶悍”的团队在已往十年中为人工智能范畴的很多打破做出了十分大奉献。

图源：领英

依据CTO的先容，这个模子是20人的团队在迩来4个月内才肝出来的，由于他们90%的算力在客岁12月尾才到位。

随着Reka Core的公布，他们从幕后走到舞台中央，让“大模子”第一次进入“小团队”年代！

能看懂三体的大模子

在官方的演示中，Reka Core对网飞《三体》第一集谁人经典场景举行了解读：

泉源：官方素材

视频中一一局部在惨淡的房间里，将手电筒照在墙上。墙上有很多用赤色和玄色墨水写的数字和等式。这一局部仿佛在很仔细地研讨这些数字，然后转过身来对着镜头开头语言，提到了倒计时和一系列杀人案件仿佛有某种干系。

假如让一个没有看过《三体》的人来看这段视频，能不克不及这么全盘地捕捉到这些细节都很难说。并且Reka Core很天然地域解并且整合了视频中场景的切换，人物举措的意图，以及声响等多模态的信息。

泉源：官方素材

紧随着再把后边一段和“倒计时”有关的视频喂给它，它不仅清晰地域解了视频中的信息，并且还将这个片断画面中的倒计时和上一个视频中声响信息中的倒计时主动接洽了起来。

视频中的倒计时让人感受了不安和一种迫近的伤害。这约莫和谁人男人提到的一连串的行刺案有关。这约莫和一个定时炸弹大概某个停止时间有关。人物约莫要在这个停止时间之前来做什么事变，从而制止劫难性后果的产生，大概处理一个什么谜题。固然，这个倒计时也约莫代表了时间的仅限性，人物在杂乱的情况中不得不面临的挣扎。

除了多模态素材了解才能超强，Reka的代码才能也十分彪悍。

官方演示了一段Reka Core输入的可视化“三体成绩”的python代码：

泉源：官方素材

它还能准确地识别出《三体》中的演员。Reka Core把他在其他作品中扮演的人物都主动遐想出来。

泉源：官方素材

镜头中直升机的具体型号，大型粒子对撞机的地点，都推断得有理有据。

泉源：官方素材

武艺细节

Reka Core是一个闭源模子，但是Reka之前以前开源了两个较小的模子Reka Flash（21B）和Reka Edge（7B）

武艺报告：
https://publications.reka.ai/reka-core-tech-report.pdf

练习数据

依据官方公布的关于练习数据的分析，Reka三个模子练习数据包含公开数据集和专有/受权数据集，数据集的知识停止日期为知识停止日期为2023 年 11 月。

模子所摄取的数据集包含文本、图像、视频和音频片断。两一部分量较小的开源模子Reka Flash 和 Reka Edge 分散在约莫5万亿和4.5万亿token的数据上举行了练习。

预练习数据中约有25%与代码干系，30%与STEM干系。约莫25%的数据是从网络抓取的。

模子布局

图源：武艺报告

模子的全体架构如上图所示，是一个模块化的编码器-解码器架构。支持文本、图像、视频和音频输入，不外现在仅支持文本输入。

主干Transformer基于 “Noam”架构。从架构上看，与PaLM架构相似，但没有并行层。

数据团队现

依据官方给出的数据团队现，Reka Core以前完全不输GPT-4，而小一些的开源模子Reka Flash的多模态才能也和Gemini Pro 1.5差不多了。

图源：武艺报告

在人类测试者到场的关于市面上几个主流模子的打分反应后果来看，Reka Core的多模态测试成果凌驾了Claude 3超大杯，落伍GPT-4V不多。

图源：武艺报告

在这个测试之后，Reka团队还让Reka Core本人扮演人类评分者的人物，关于每个模子的输入举行了打分评价，取得的后果也和人类评分后果十分接近。

图源：武艺报告

相反在人类测试者到场的纯文本的测试中，Reka Core的成果也仅次于GPT-4 Turbo和Claude 3超大杯。

图源：武艺报告

团队成员先容

CEO/团结创始人 Dani Yogatama

图源：官网

他出生于印尼，2015年博士毕业于CMU。以前暂时就职于百度硅谷AI实行室，之后到场DeepMind，事情至2022年。如今是Reka AI CEO，同时照旧南加大盘算机系副传授。

他在创建Reka AI之前的研讨生活，到场了多篇着名的论文。

图源：谷歌学术

CTO/团结创始人 Yi Tay

图源：官网

他来自新加坡，以前承继谷歌Research的武艺主管，谷歌大脑高等研讨封建家。在谷歌任职时期，他对很多大模子项目做出了奉献：比如 PaLM、UL2、Flan-{PaLM/UL2/T5}、LaMDA/Bard、MUM 等。

图源：领英

他除了是一个十分告捷的深度学习封建家和创业者之外，照旧一个副业古典钢琴演奏家，在2012年取得了伦敦三一学院古典钢琴演奏副文凭。

团结创始人 Qi Liu

图源：官网

他博士毕业于牛津大学，以前在Fair承继研讨员，如今除了是Reka AI的团结创始人之外，还在香港大学承继盘算机系助理传授。

图源：领英

Che Zheng

图源：官网

他本科毕业于清华大学，硕士毕业于CMU，在到场Reka AI之前以前在快手和谷歌任职。

图源：领英

图源：领英

Zhongkai Zhu

图源：官网

他在到场Reka AI之前曾今在Meta AI，微软，特斯拉任职，本科毕业于北航。

图源：领英

图源：领英