0

0

350亿参数、开放权重,Transformer作者创业后推出新大模型

王林

王林

发布时间:2024-03-13 08:58:24

|

582人浏览过

|

来源于51CTO.COM

转载

今天,由 Transformer 作者之一 Aidan Gomez 参与创立的人工智能初创公司 Cohere 迎来了自家大模型的发布。

Cohere 最新发布的模型被命名为「Command-R」,拥有 35B 参数量,专为处理大规模生产工作负载而设计。这一模型属于「可扩展」类别,具备高效率和高精度的平衡特性,有助于企业用户在超越概念验证的基础上进入生产阶段。

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

350亿参数、开放权重,Transformer作者创业后推出新大模型

Command-R 是一种生成模型,专门针对检索增强生成(RAG)以及其他长上下文任务进行优化。通过结合外部 API 和工具,该模型旨在提高 RAG 应用程序的性能。它与行业领先的嵌入和重新排序模型协同工作,为企业用例提供出色的表现和一流的集成能力。

Command-R采用了经过优化的transformer架构,是一种自回归语言模型。在预训练完成后,该模型通过监督微调(SFT)和偏好训练的方式来确保与人类偏好保持一致,以实现更好的有用性和安全性。

具体而言,Command-R 具有以下功能特征:

  • RAG 和工具使用方面的高度准确性
  • 低延迟、高吞吐量
  • 更长的 128k 上下文和更低的价格
  • 跨 10 种主要语言的强大功能
  • HuggingFace 上提供模型权重以供研究和评估

Command-R目前可在Cohere的托管API上使用,并计划不久将在主要云服务商上推出。这个版本是一系列模型中的首个,旨在提升对企业大规模采用至关重要的功能。

目前,Cohere 在 Huggingface 上开放了模型权重。

350亿参数、开放权重,Transformer作者创业后推出新大模型

huggingface 地址:https://huggingface.co/cohereforai/c4ai-command-r-v01

高性能检索增强生成(RAG)

检索增强生成(RAG)已成为大语言模型部署中的关键模式。通过 RAG,企业能够让模型访问原本无法获得的私有知识,搜索私有数据库并使用相关信息形成响应,从而准确性和实用性将显著提升。RAG 的关键组件是:

  • 检索:搜索与响应用户相关的信息语料库。
  • 增强生成:使用检索到的信息形成更明智的响应。

对于检索,Cohere 的 Embed 模型通过搜索数百万甚至数十亿文档来改善上下文和语义理解,显著提高了检索步骤的实用性和准确性。同时,Cohere 的 Rerank 模型有助于进一步提高检索到信息的价值,优化相关性和个性化等自定义指标的结果。

对于增强生成,通过识别最相关的信息,Command-R 可以总结、分析、打包这些信息,并帮助员工提高工作效率或者创造全新的产品体验。Command-R 的独特之处在于:该模型的输出带有明确的引文,可以降低出现幻觉的风险,并能够从源材料中呈现更多背景信息。

即使不使用自家的 Embed 和 Rerank 模型,Command-R 在可扩展的生成模型类别中也优于其他模型。不过当配合使用时,领先优势显著扩大,从而在更复杂的领域实现更高的性能。

下图左为 Command-R 与 Mixtral 在一系列与企业相关的 RAG 应用上,进行了 Head-to-Head 整体人类偏好评估,充分考虑流畅度、答案实用性和引用。图右为 Command-R(Embed+Rerank)、Command-R 与 Llama 2 70B(chat)、Mixtral、GPT3.5-Turbo 等模型在 Natural Questions、TriviaQA 和 HotpotQA 等基准上的比较结果。Cohere 的大模型实现了领先。

350亿参数、开放权重,Transformer作者创业后推出新大模型

强大的工具使用能力

大语言模型应该是核心的推理引擎,可以自动执行任务并采取实际行动,而不仅仅提取和生成文本的机器。Command-R 通过使用工具(API)来实现这一目标,例如代码解释器和其他用户定义的工具,使模型能够自动执行高度复杂的任务。

Tool Use 功能使企业开发人员能够将 Command-R 转变为引擎,以支持需要使用「数据库和软件工具等内部基础设施」以及「CRM、搜索引擎等外部工具」的任务和工作流程的自动化。这样一来,我们可以实现跨多个系统且需要复杂推理和决策的耗时手动任务的自动化。

下图为 Command-R 与 Llama 2 70B(chat)、Mixtral、GPT3.5-turbo,在使用搜索工具时的多步推理能力比较。这里使用到的数据集为 HotpotQA 和 Bamboogle。

350亿参数、开放权重,Transformer作者创业后推出新大模型

多语言生成能力

Command-R 模型擅长全球 10 种主要商业语言,包括英语、法语、西班牙语、意大利语、德语、葡萄牙语、日语、韩语、阿拉伯语和中文。

此外,Cohere 的 Embed 和 Rerank 模型本身就支持 100 多种语言。这使得用户能够从大量数据源中得出答案,无论使用何种语言,都能以母语提供清晰准确的对话。

下图为 Command-R 与 Llama 2 70B(chat)、Mixtral、GPT3.5-turbo 在多语言 MMLU 和 FLORES 上的比较。

350亿参数、开放权重,Transformer作者创业后推出新大模型

更长的上下文和更低的价格

Command-R 支持了更长的上下文窗口 ——128k tokens。此次升级还降低了 Cohere 托管 API 的价格,并显著提高了 Cohere 私有云部署的效率。通过将更长的上下文窗口与更便宜的定价相结合,Command-R 解锁了 RAG 用例,其中附加上下文可以显著提高性能。

350亿参数、开放权重,Transformer作者创业后推出新大模型

具体定价如下,其中 Command 版本 100 万输入 tokens 1 美元,100 万输出 tokens 2 美元;Command-R 版本 100 万输入 tokens 0.5 美元,100 万输出 tokens 1.5 美元。

350亿参数、开放权重,Transformer作者创业后推出新大模型

不久后,Cohere 还将放出一份简短的技术报告,展示更多模型细节。

350亿参数、开放权重,Transformer作者创业后推出新大模型

博客地址:https://txt.cohere.com/command-r/

晓语台
晓语台

晓语台,是一款AI文本创作产品。创作能力主要围绕营销文本的AI创作,晓语台覆盖了品牌与市调、商业媒体、社交媒体、搜索营销、数字广告、职场办公共六类全营销文本

下载

相关专题

更多
数据库三范式
数据库三范式

数据库三范式是一种设计规范,用于规范化关系型数据库中的数据结构,它通过消除冗余数据、提高数据库性能和数据一致性,提供了一种有效的数据库设计方法。本专题提供数据库三范式相关的文章、下载和课程。

324

2023.06.29

如何删除数据库
如何删除数据库

删除数据库是指在MySQL中完全移除一个数据库及其所包含的所有数据和结构,作用包括:1、释放存储空间;2、确保数据的安全性;3、提高数据库的整体性能,加速查询和操作的执行速度。尽管删除数据库具有一些好处,但在执行任何删除操作之前,务必谨慎操作,并备份重要的数据。删除数据库将永久性地删除所有相关数据和结构,无法回滚。

2066

2023.08.14

vb怎么连接数据库
vb怎么连接数据库

在VB中,连接数据库通常使用ADO(ActiveX 数据对象)或 DAO(Data Access Objects)这两个技术来实现:1、引入ADO库;2、创建ADO连接对象;3、配置连接字符串;4、打开连接;5、执行SQL语句;6、处理查询结果;7、关闭连接即可。

346

2023.08.31

MySQL恢复数据库
MySQL恢复数据库

MySQL恢复数据库的方法有使用物理备份恢复、使用逻辑备份恢复、使用二进制日志恢复和使用数据库复制进行恢复等。本专题为大家提供MySQL数据库相关的文章、下载、课程内容,供大家免费下载体验。

250

2023.09.05

vb中怎么连接access数据库
vb中怎么连接access数据库

vb中连接access数据库的步骤包括引用必要的命名空间、创建连接字符串、创建连接对象、打开连接、执行SQL语句和关闭连接。本专题为大家提供连接access数据库相关的文章、下载、课程内容,供大家免费下载体验。

315

2023.10.09

数据库对象名无效怎么解决
数据库对象名无效怎么解决

数据库对象名无效解决办法:1、检查使用的对象名是否正确,确保没有拼写错误;2、检查数据库中是否已存在具有相同名称的对象,如果是,请更改对象名为一个不同的名称,然后重新创建;3、确保在连接数据库时使用了正确的用户名、密码和数据库名称;4、尝试重启数据库服务,然后再次尝试创建或使用对象;5、尝试更新驱动程序,然后再次尝试创建或使用对象。

400

2023.10.16

vb连接access数据库的方法
vb连接access数据库的方法

vb连接access数据库方法:1、使用ADO连接,首先导入System.Data.OleDb模块,然后定义一个连接字符串,接着创建一个OleDbConnection对象并使用Open() 方法打开连接;2、使用DAO连接,首先导入 Microsoft.Jet.OLEDB模块,然后定义一个连接字符串,接着创建一个JetConnection对象并使用Open()方法打开连接即可。

363

2023.10.16

vb连接数据库的方法
vb连接数据库的方法

vb连接数据库的方法有使用ADO对象库、使用OLEDB数据提供程序、使用ODBC数据源等。详细介绍:1、使用ADO对象库方法,ADO是一种用于访问数据库的COM组件,可以通过ADO连接数据库并执行SQL语句。可以使用ADODB.Connection对象来建立与数据库的连接,然后使用ADODB.Recordset对象来执行查询和操作数据;2、使用OLEDB数据提供程序方法等等。

216

2023.10.19

苹果官网入口直接访问
苹果官网入口直接访问

苹果官网直接访问入口是https://www.apple.com/cn/,该页面具备0.8秒首屏渲染、HTTP/3与Brotli加速、WebP+AVIF双格式图片、免登录浏览全参数等特性。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

10

2025.12.24

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
CSS3 教程
CSS3 教程

共18课时 | 3.9万人学习

PostgreSQL 教程
PostgreSQL 教程

共48课时 | 5.9万人学习

Git 教程
Git 教程

共21课时 | 2.2万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号