清华姚班校友、斯坦福助理教授马腾宇，正式宣布大模子创业！

马腾宇透露，他率领团队打造了现在*的嵌入模子，比OpenAI的还要好。

此外，还会提供专注于某个领域或企业的定制化模子。

马腾宇将这个项目命名为Voyage，是针对RAG（检索增强天生）专门优化的嵌入模子。

凭证Voyage官网显示，斯坦福人工智能实验室主任Christopher Manning、AI领域著名华人学者李飞飞等三名教授都担任了Voyage的学术照料。

Voyage最主要的特点就是高检索精度，在HuggingFace提出的MTEB数据集上的评分跨越了OpenAI，成为SOTA。

Voyage还与着名开源框架LangChain互助，同事提高了其谈天机械人的检索和回复质量。

对于嵌入模子，有人评价到与大语言模子相比“需要的算力、数据和行业履历都少的多”，似乎是个创业的好偏向。

Voyage详细是什么样的产物，下面就来领会一下。

嵌入模子SOTA

在ChatPDF等RAG应用中，嵌入模子（Embedding Model）认真将文本向量化的环节。

嵌入模子与天生式模子有一定相似之处，但加倍偏重于语义明白，通过神经网络（通常是Transformer）架构来对语义上下文举行捕捉和压缩。

难度上，训练嵌入模子和天生式模子一样难题——训练高质量的嵌入模子需要在架构、数据、损失函数等许多方面举行频频实验。

Voyage团队先容，他们选择创业的一个主要缘故原由是以为业界对嵌入模子的重视水平远远不够。

他们用了5年时间，网络了海量训练数据和预/后处置方式，最终打造出了这款SOTA的嵌入模子。

测试成就方面，Voyage在常用于测试嵌入模子的MTEB数据集中取得了SOTA的成就，比OpenAI高了0.5个百分点。

在工业领域数据集上，Voyage相对OpenAI的优势就加倍显著了。

西部资本在孝感设立新基金

不外Voyage的通告中也说，MTEB这个数据集由于应用过于普遍，有时会被拿来专门训练。

在答应没有在MTEB上“作弊”的同时，Voyage还提出了9个“真实天下”数据集，内容涵盖了手艺文档、新闻，甚至是餐馆评价等多个方面。

效果在这9个数据集上，Voyage所有取得了*成就，其中另有几项取得了碾压式的效果。

手艺上，Voyage使用了全新的自监视损失函数，以及涉及多个领域、针对RAG和搜索量身定做的训练数据。

同时，Voyage还接纳了新的微调手艺，无需人类标注就能完成。

使用方式上，可以通过API或者安装Python库来挪用，窗口长度为4096token。

现在，Voyage推出了尺度版和轻量版两个版本，未来还将推出XL规模以及代码和金融领域版本。

价钱方面，尺度版和轻量版都是每100万token0.4美元，新用户可以免费体验5000次输入（查询或文档）。

那么，Voyage的首创人兼CEO马腾宇是谁呢？

保送清华姚班，和陈丹琦同砚

马腾宇现任斯坦福大学助理教授，研究偏向包罗机械学习、算法等多项内容。

2008年，马腾宇被保送进入清华姚班，和陈丹琦是同班同砚。

马腾宇博士就读于普林斯顿大学，导师是理论盘算机科学家、两届哥德尔奖得主Sanjeev Arora教授。

读博时代，马腾宇获得了理论盘算机偏向的西蒙斯奖等诸多奖项，被导师夸赞“比自己还伶俐”。

博士结业后，MIT、哈佛、斯坦福等*高校都给了他助理教授的Offer，马腾宇最终选择了斯坦福。

2021年，马腾宇获得了具有“诺奖风向标”之称的斯隆奖，成为继鬲融之后清华姚班又一名获此奖项的校友。

参考链接：