李开复正式宣布推出「全球最强」的开源大模型：处理40万汉字，中英文均位居榜首

PHPz

发布时间：2023-11-06 18:13:01

754人浏览过

来源于机器之心

转载

李开复指出：“要使得零一万物跻身全球大模型的第一梯队。”

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

李开复正式宣布推出「全球最强」的开源大模型：处理40万汉字，中英文均位居榜首

开源大模型宇宙又有了新的重量级成员，这次是创新工场董事长兼 CE0 李开复大模型公司「零一万物」推出的「Yi」系列开源大模型。据悉，零一万物在今年 3 月底官宣成立，六七月开始运营，李开复博士为创始人兼 CEO。

11 月 6 日，零一万物正式发布「Yi」系列预训练开源大模型，包括了 Yi-6B 和 Yi-34B 两个版本，给了开源大模型社区「一点小小的震撼」。

根据 Hugging Face 英文开源社区平台和 C-Eval 中文评测的最新榜单，Yi-34B 预训练模型取得了多项 SOTA 国际最佳性能指标认可，成为全球开源大模型「双料冠军」，击败了 LLaMA2 和 Falcon 等开源竞品。

李开复正式宣布推出「全球最强」的开源大模型：处理40万汉字，中英文均位居榜首

Yi-34B 也成为迄今为止唯一成功登顶 Hugging Face 全球开源模型排行榜的国产模型。

李开复正式宣布推出「全球最强」的开源大模型：处理40万汉字，中英文均位居榜首

以小博大，登顶全球英文及中文权威大模型榜单No 1

我们了解到，在 Hugging Face 英文测试公开榜单 Pretrained 预训练开源模型排名中，Yi-34B 的各项指标表现亮眼，以 70.72 的分数位列全球第一，以小博大，碾压 LLaMA2-70B 和 Falcon-180B 等众多大尺寸模型。

在参数量和性能方面，Yi-34B 相当于只用了不及 LLaMA2-70B 一半、Falcon-180B 五分之一的参数量，取得了在各项测试任务中超越全球领跑者的成绩。凭借出色表现，Yi-34B 跻身目前世界范围内开源最强基础模型之列。

李开复正式宣布推出「全球最强」的开源大模型：处理40万汉字，中英文均位居榜首

EduPro

EduPro - 留学行业的AI工具箱

下载

^{来源：https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard}

同时作为国产大模型，李开复表示，Yi-34B 更「懂」中文，在 C-Eval 中文权威榜单排行榜上超越了全球所有开源模型。

相较于大模型最强王者 GPT-4，Yi-34B 在 CMMLU、E-Eval、Gaokao 三个主要中文指标上具有绝对优势，凸显中文世界的优异能力，能够更好地满足国内市场需求。

李开复正式宣布推出「全球最强」的开源大模型：处理40万汉字，中英文均位居榜首

从更为全面的评估看，在全球大模型各项评测中最关键的「MMLU」（Massive Multitask Language Understanding，大规模多任务语言理解）、BBH 等反映模型综合能力的评测集上，Yi-34B 表现最为突出，在通用能力、知识推理、阅读理解等多项指标评比中全部胜出，与 Hugging Face 评测高度一致。

李开复正式宣布推出「全球最强」的开源大模型：处理40万汉字，中英文均位居榜首

不过，与 LLaMA2 一样，Yi 系列开源大模型在 GSM8k、MBPP 的数学和代码评测表现略逊 GPT 模型。未来，Yi 系列大模型将推出专攻代码能力和数学能力的继续训练模型。

上下文窗口大小突破 200k，并直接开源

在对大模型实战效果至关重要的上下文窗口方面，此次开源的 Yi-34B 发布了全球最长、支持 200K 超长上下文窗口版本，可以处理约 40 万汉字超长文本输入，大致相当于一本《儒林外史》的长度。相比之下，OpenAI 的 GPT-4 上下文窗口只有 32K，文字处理量约 2.5 万字。

李开复正式宣布推出「全球最强」的开源大模型：处理40万汉字，中英文均位居榜首

如何做到的呢？据了解，零一万物技术团队实施了一系列优化，包括了计算通信重叠、序列并行、通信压缩等。通过这些能力增强，实现了在大规模模型训练中近 100 倍的能力提升。

值得一提的是，零一万物还是第一家将超长上下文窗口开源开放的大模型公司，允许开发者直接使用。

Yi-34B 的 200K 上下文窗口直接开源，不仅能提供更丰富的语义信息，理解超过 1000 页的 PDF 文档，让很多依赖于向量数据库构建外部知识库的场景都可以用上下文窗口来进行替代。Yi-34B 的开源属性也给想要在更长上下文窗口进行微调的开发者提供了更多的可能性。

独有科学训模方法，训练成本下降 40%

Yi-34B 如此强大，这要得益于以下两个关键因素，即 AI Infra 团队、自研规模化训练平台。

李开复介绍称，零一万物内部设立了 AI Infra（AI Infrastructure）团队，主要负责大模型训练和部署提供各种底层技术设施，包括处理器、操作系统、存储系统、网络基础设施、云计算平台等等，成为 Yi 系列模型训练背后极其关键的「保障技术」。

凭借强大的 AI Infra 支撑，零一万物团队实现了超越行业水平的训练效果。Yi-34B 模型训练成本实测下降 40%，实际训练完成达标时间与预测的时间误差不到一小时，进一步模拟上到千亿规模训练成本可下降多达 50%。

与此同时，零一万物实现了从「粗放炼丹」到「科学训模」方法论的转化。

经过几个月的建模和实验，零一万物自研出一套「规模化训练实验平台」，用来指导模型的设计和优化。数据配比、超参搜索、模型结构实验都可以在小规模实验平台上进行，对 34B 模型每个节点的预测误差都可以控制在 0.5% 以内。模型预测能力更强，大大减少了进行对比实验需要的资源，也减少了训练误差对于计算资源的浪费。

数据处理管线和加大规模预测的训练能力建设，把以往的大模型训练碰运气的「炼丹」过程变得极度细致和科学化，不仅保证了目前发布 Yi-34B、Yi-6B 模型的高性能，也为未来更大规模模型的训练压缩了时间和成本，还有能力以领先于行业的速度将模型规模扩大到数倍。

最后，李开复也宣布，在完成 Yi-34B 预训练的同时，已经旋即启动下一个千亿参数模型的训练。

未来几个月，我们预计将看到更多的 Yi 后续大模型亮相。

如何使用 ChatGPT 进行专业学术论文润色

如何利用ChatGPT进行头脑风暴激发创意灵感与方案策划指南

教你用AI一键生成电商产品描述，提高商品点击率

AI logo生成工具有哪些_一键生成企业标志的AI工具推荐

文心一言插件市场提升工作效率的工具推荐

相关专题

数据库三范式

数据库三范式是一种设计规范，用于规范化关系型数据库中的数据结构，它通过消除冗余数据、提高数据库性能和数据一致性，提供了一种有效的数据库设计方法。本专题提供数据库三范式相关的文章、下载和课程。

333

2023.06.29

如何删除数据库

删除数据库是指在MySQL中完全移除一个数据库及其所包含的所有数据和结构，作用包括：1、释放存储空间；2、确保数据的安全性；3、提高数据库的整体性能，加速查询和操作的执行速度。尽管删除数据库具有一些好处，但在执行任何删除操作之前，务必谨慎操作，并备份重要的数据。删除数据库将永久性地删除所有相关数据和结构，无法回滚。

2068

2023.08.14

vb怎么连接数据库

在VB中，连接数据库通常使用ADO（ActiveX 数据对象）或 DAO（Data Access Objects）这两个技术来实现：1、引入ADO库；2、创建ADO连接对象；3、配置连接字符串；4、打开连接；5、执行SQL语句；6、处理查询结果；7、关闭连接即可。

346

2023.08.31

MySQL恢复数据库

MySQL恢复数据库的方法有使用物理备份恢复、使用逻辑备份恢复、使用二进制日志恢复和使用数据库复制进行恢复等。本专题为大家提供MySQL数据库相关的文章、下载、课程内容，供大家免费下载体验。

251

2023.09.05

vb中怎么连接access数据库

vb中连接access数据库的步骤包括引用必要的命名空间、创建连接字符串、创建连接对象、打开连接、执行SQL语句和关闭连接。本专题为大家提供连接access数据库相关的文章、下载、课程内容，供大家免费下载体验。

319

2023.10.09

数据库对象名无效怎么解决

数据库对象名无效解决办法：1、检查使用的对象名是否正确，确保没有拼写错误；2、检查数据库中是否已存在具有相同名称的对象，如果是，请更改对象名为一个不同的名称，然后重新创建；3、确保在连接数据库时使用了正确的用户名、密码和数据库名称；4、尝试重启数据库服务，然后再次尝试创建或使用对象；5、尝试更新驱动程序，然后再次尝试创建或使用对象。

402

2023.10.16

vb连接access数据库的方法

vb连接access数据库方法：1、使用ADO连接，首先导入System.Data.OleDb模块，然后定义一个连接字符串，接着创建一个OleDbConnection对象并使用Open() 方法打开连接；2、使用DAO连接，首先导入 Microsoft.Jet.OLEDB模块，然后定义一个连接字符串，接着创建一个JetConnection对象并使用Open()方法打开连接即可。

371

2023.10.16

vb连接数据库的方法

vb连接数据库的方法有使用ADO对象库、使用OLEDB数据提供程序、使用ODBC数据源等。详细介绍：1、使用ADO对象库方法，ADO是一种用于访问数据库的COM组件，可以通过ADO连接数据库并执行SQL语句。可以使用ADODB.Connection对象来建立与数据库的连接，然后使用ADODB.Recordset对象来执行查询和操作数据；2、使用OLEDB数据提供程序方法等等。

217

2023.10.19