0

0

RAG 架构如何克服 LLM 的局限性

王林

王林

发布时间:2024-06-05 18:34:06

|

1259人浏览过

|

来源于51CTO.COM

转载

☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜

rag 架构如何克服 llm 的局限性

检索增强生成促进了 LLM 和实时 AI 环境的彻底改造,以产生更好、更准确的搜索结果。

译自How RAG Architecture Overcomes LLM Limitations,作者 Naren Narendran。

神采PromeAI
神采PromeAI

将涂鸦和照片转化为插画,将线稿转化为完整的上色稿。

下载

在本系列的第一部分中,我重点介绍了各个行业和地区的组织对生成式 AI 和大型语言模型 (LLM)的日益增长的采用。公司坚信,实时 AI 应用程序是强大的引擎,可以帮助他们提升数字性能、在饱和市场中超越竞争对手、建立更牢固的客户关系并提高利润率。

根据Gartner的说法,到2026年,以多样化数据和媒体格式为特色的多模态AI模型将在10个AI解决方案中占据数据六个。通用LLM的局限性,例如过时的训练数据、缺乏组织特定的上下文和AI幻觉,是这些AI模型中高搜索准确性和性能的障碍。然而,正如我在本系列的第一部分中所讨论的,通过使用向量数据库,企业可以缓解这些挑战并提升其AI应用程序。

检索增强生成 (RAG) 是一种架构框架,利用向量数据库来克服LLM的局限性。在本文中,我将引导你了解RAG的功能和优势,以及它如何促进LLM和实时AI环境的彻底改造。但是,在我讨论RAG的优势之前,我将讨论解决LLM局限性的另一种常见解决方案:微调。

解决 LLM 局限性的两种方法

虽然RAG是克服LLM局限性最有效的方法之一,但它并不是唯一的解决方案。我在下面讨论了这两种方法。 RAG(Red, Amber, Green)方法是一种用于评估和优先排序任务或项目的工具。它通过将任务分为红色、黄色和绿色三个级别来帮助管理者快速确定优先级。

微调

微调内容,重写如下: 一种具有预先存在的经过预训练的LLM(语言模型)可用于解决现成的问题,并对其进行更多轮的训练。企业可以根据需求临时或定期对LLM进行微调。

微调后的内容如下: 微调常涉及及小或超特定的数据集。例如,医疗保健或教育领域的企业可能希望微调通用的LLM,以满足其环境的特定需求。

虽然微调是一种强大的选择,但它既耗时又耗费资源。对于许多人来说,这是一个负担不起的选择。

检索增强生成 (RAG)

RAG 是一种架构框架,可帮助企业在其 LLM 和 AI 生态系统和流程中使用专有向量数据库作为先导步骤。RAG 将这些搜索结果用作 LLM 的附加输入,可用于塑造其答案。RAG 通过外部向量数据库提供高度语境化、实时、特定于企业的企业数据,从而提高了 LLM 结果的准确性。

至关重要的是,RAG 允许公司在不重新训练其 LLM 的情况下执行此操作。RAG 架构使 LLM 能够在对提示或查询创建响应之前访问外部数据库。

通过绕过重新训练流程,RAG 为企业提供了一种经济且便捷的方式来增强其 AI 应用程序,而不会损害搜索准确性和性能。

RAG 的功能和优势

既然你对 RAG 有了基本的了解,我想将重点转移到它的主要功能和主要优势上。

更好的搜索质量

增强的搜索质量是企业使用 RAG 解锁的首批优势之一。通用预训练 LLM 的搜索准确性和质量有限。为什么?因为它们只能执行其初始训练数据集所允许的操作。随着时间的推移,这会导致效率低下,并且对查询的响应要么错误,要么不足。

使用 RAG,企业可以期待更具层次性、整体性和语境化的搜索。

纳入专有数据

使用 RAG 的另一个好处是通过附加数据集(尤其是专有数据)来丰富 LLM。RAG 模型确保了此专有数据(在外部向量数据库中标准化为数字向量)是可访问和可检索的。这使 LLM 能够处理复杂且细微的特定于组织的查询。例如,如果员工提出一个特定于某个项目、专业记录或人事档案的问题,则增强型 RAG LLM 可以毫不费力地检索此信息。纳入专有数据集还可以降低 LLM 引发幻觉响应的风险。但是,企业必须建立稳健的护栏,以维护自身及其用户的安全性和机密性。

RAG 除了显而易见的优势外,还有一些不太明显但同样强大的优势。通过提高搜索质量并纳入专有数据,RAG 允许企业以多种方式利用其 LLM,并将其应用于几乎任何用例。它还有助于企业充分利用其内部数据资产,这是积极优化数据管理生态系统的动力。

展望 RAG

RAG 可以帮助生成更好、更具上下文且没有幻觉的响应来回答人类的问题。借助 RAG,聊天机器人的响应对用户来说更快、更准确。当然,这只是一个简单的用例。生成式 AI 和 LLM 在不同的行业和地理区域中激增。因此,使用向量数据库优化 AI 应用程序的潜力也是无穷无尽的。

许多未来的场景和用例需要亚秒级决策、无与伦比的搜索准确性和整体业务背景。向量,特别是通过相似性搜索的力量,是这些场景中成功的关键。考虑欺诈评估和产品推荐等用例。这些利用了相同的快速向量处理原则来增强相似性和上下文。这验证了 LLM 向量数据库可以在各种设置中实现快速且相关的结果。

企业使用向量数据库可以实现的目标没有限制。最重要的是,向量数据库确保任何组织都不会觉得自己无法参与 AI 革命。

防止 LLM 障碍

AI 采用正在变得普遍,多模态 LLM 模型正在成为常态。在此背景下,公司必须确保 LLM 的传统限制不会造成重大障碍。搜索准确性和性能是必须的,企业需要不断寻找方法来提升现成的 LLM 并消除其挑战。

虽然微调是一种潜在的解决方案,但它通常既昂贵又耗时。并非所有公司都拥有定期微调通用 LLM 所需的资源。检索增强生成是一种更经济、更方便、更高效的方式,可以超越 LLM 限制,并帮助企业使用外部数据集增强其 AI 生态系统。

RAG 的主要优势包括更好的搜索质量、包含专有数据集的能力以及 LLM 的更多样化用例。

虽然 RAG 是一个强大的模型,可以加强 AI 环境,但 LLM 和向量数据库领域的不断进步表明实时 AI 环境仍处于起步阶段:未来充满了可能性。

相关专题

更多
数据库三范式
数据库三范式

数据库三范式是一种设计规范,用于规范化关系型数据库中的数据结构,它通过消除冗余数据、提高数据库性能和数据一致性,提供了一种有效的数据库设计方法。本专题提供数据库三范式相关的文章、下载和课程。

324

2023.06.29

如何删除数据库
如何删除数据库

删除数据库是指在MySQL中完全移除一个数据库及其所包含的所有数据和结构,作用包括:1、释放存储空间;2、确保数据的安全性;3、提高数据库的整体性能,加速查询和操作的执行速度。尽管删除数据库具有一些好处,但在执行任何删除操作之前,务必谨慎操作,并备份重要的数据。删除数据库将永久性地删除所有相关数据和结构,无法回滚。

2066

2023.08.14

vb怎么连接数据库
vb怎么连接数据库

在VB中,连接数据库通常使用ADO(ActiveX 数据对象)或 DAO(Data Access Objects)这两个技术来实现:1、引入ADO库;2、创建ADO连接对象;3、配置连接字符串;4、打开连接;5、执行SQL语句;6、处理查询结果;7、关闭连接即可。

346

2023.08.31

MySQL恢复数据库
MySQL恢复数据库

MySQL恢复数据库的方法有使用物理备份恢复、使用逻辑备份恢复、使用二进制日志恢复和使用数据库复制进行恢复等。本专题为大家提供MySQL数据库相关的文章、下载、课程内容,供大家免费下载体验。

250

2023.09.05

vb中怎么连接access数据库
vb中怎么连接access数据库

vb中连接access数据库的步骤包括引用必要的命名空间、创建连接字符串、创建连接对象、打开连接、执行SQL语句和关闭连接。本专题为大家提供连接access数据库相关的文章、下载、课程内容,供大家免费下载体验。

315

2023.10.09

数据库对象名无效怎么解决
数据库对象名无效怎么解决

数据库对象名无效解决办法:1、检查使用的对象名是否正确,确保没有拼写错误;2、检查数据库中是否已存在具有相同名称的对象,如果是,请更改对象名为一个不同的名称,然后重新创建;3、确保在连接数据库时使用了正确的用户名、密码和数据库名称;4、尝试重启数据库服务,然后再次尝试创建或使用对象;5、尝试更新驱动程序,然后再次尝试创建或使用对象。

400

2023.10.16

vb连接access数据库的方法
vb连接access数据库的方法

vb连接access数据库方法:1、使用ADO连接,首先导入System.Data.OleDb模块,然后定义一个连接字符串,接着创建一个OleDbConnection对象并使用Open() 方法打开连接;2、使用DAO连接,首先导入 Microsoft.Jet.OLEDB模块,然后定义一个连接字符串,接着创建一个JetConnection对象并使用Open()方法打开连接即可。

363

2023.10.16

vb连接数据库的方法
vb连接数据库的方法

vb连接数据库的方法有使用ADO对象库、使用OLEDB数据提供程序、使用ODBC数据源等。详细介绍:1、使用ADO对象库方法,ADO是一种用于访问数据库的COM组件,可以通过ADO连接数据库并执行SQL语句。可以使用ADODB.Connection对象来建立与数据库的连接,然后使用ADODB.Recordset对象来执行查询和操作数据;2、使用OLEDB数据提供程序方法等等。

216

2023.10.19

苹果官网入口直接访问
苹果官网入口直接访问

苹果官网直接访问入口是https://www.apple.com/cn/,该页面具备0.8秒首屏渲染、HTTP/3与Brotli加速、WebP+AVIF双格式图片、免登录浏览全参数等特性。本专题为大家提供相关的文章、下载、课程内容,供大家免费下载体验。

10

2025.12.24

热门下载

更多
网站特效
/
网站源码
/
网站素材
/
前端模板

精品课程

更多
相关推荐
/
热门推荐
/
最新课程
PostgreSQL 教程
PostgreSQL 教程

共48课时 | 5.9万人学习

Django 教程
Django 教程

共28课时 | 2.4万人学习

React 教程
React 教程

共58课时 | 2.9万人学习

关于我们 免责申明 举报中心 意见反馈 讲师合作 广告合作 最新更新
php中文网:公益在线php培训,帮助PHP学习者快速成长!
关注服务号 技术交流群
PHP中文网订阅号
每天精选资源文章推送

Copyright 2014-2025 https://www.php.cn/ All Rights Reserved | php.cn | 湘ICP备2023035733号