收藏文章 楼主

【附】悦数图数据库推出:减少大模型“幻觉”优化向量数据库检索能力

版块:科技头条   类型:普通   作者:科技资讯   查看:83   回复:0   获赞:0   时间:2023-09-01 16:33:44

在信息爆炸的时代,如何从海量信息中获取准确、全面的搜索结果,并以更直观、可读性更强的方式呈现出来,是每个人都期望达到的目标。传统的搜索增强技术受限于训练文本的数量和质量,对于复杂或多义词效果不佳,无法满足ChatGPT等语言模型应用带来的大规模、高并发、复杂相关查询的需求。

在此背景下,舒悦图数据库率先实现了与Llama Index、LangChain等大语言模型框架的深度适配,并在业内首次提出了Graph RAG(基于图的检索增强)的概念。知识图谱结合大语言模型(LLM)可以为搜索引擎提供更全面的上下文信息,可以帮助用户以更低的成本获得更智能、更准确的搜索结果。目前悦数图数据库推出的这项技术,在与矢量数据库结合的领域也取得了相当不错的成绩。

今天,我们来看看什么是Graph RAG,以及它与其他RAG技术的比较。欢迎来到官网,悦数图数据库,通过Demo直观体验此功能。

传统检索增强技术的瓶颈:缺乏训练数据和文本理解不足。

在传统的搜索引擎中,搜索结果通常是基于关键词匹配的。随着用户对搜索准确度和词汇联想能力要求的提高,传统的搜索结果往往难以满足用户的实际需求,尤其是在处理复杂问题和长尾查询时,效果会明显降低。

为了解决这类问题,RAG搜索增强技术应运而生。RAG(retrieval-augmented generation)是指通过RAG模型增强搜索结果的过程。具体而言,它是一种结合检索技术和语言生成技术来增强生成过程的技术,可以帮助传统搜索引擎生成更加准确、相关和多样化的信息,以满足用户的需求。

为了使搜索结果更加准确,RAG技术仍然面临着训练数据和文本理解的挑战:

训练数据:RAG技术需要大量的数据和计算资源来训练和生成模型,尤其是在处理多语言和复杂的任务时,但互联网上文本的质量和准确性有限,训练数据的缺乏会直接影响生成内容的质量。

文本理解:RAG需要理解查询的意图,但是对于复杂查询或者多义查询,RAG可能会有歧义或者不确定性,从而影响生成的质量。

因此,如何找到一种更强大的检索增强技术来获得更高效、更符合搜索者期望的搜索结果显得更加迫切。

什么是Graph RAG:基于知识地图的检索增强技术

“图RAG”是岳数图数据首先提出的一个概念。它是一种基于知识地图的检索增强技术。通过构建图模型的知识表达,将实体与关系之间的关系以图的形式展现出来,然后通过LLM(大语言模型)进行检索增强。

在之前的有Llama Index的现场研讨会中,我们提到过,图形数据库通过以图形格式组织和连接信息的方式,天然地适合于存储和表达复杂的上下文信息。通过图技术构建知识地图,可以提高情境学习的全面性,为用户提供更多的情境信息,有助于LLM更好地理解实体之间的关系,提高其表达和推理能力。

Graph RAG将知识图谱等同于一个非常庞大的词汇,而实体和关系则对应于单词。这样,Graph RAG在检索时可以将实体和关系作为一个单元联合建模,从而更准确地理解查询意图,提供更准确的检索结果。

Demo演示:检索增强效果对比:“约舒”官网可以直接在线体验。

我们通过Demo演示,直观的对比一下Graph RAG和Vector RAG和Text2Cypher的区别和对比吧——

矢量图形与图形+矢量图形的比较

首先是Vector RAG(向量检索)和Graph+Vector RAG(图技术增强的向量检索)的比较。

【附】悦数图数据库推出:减少大模型“幻觉”优化向量数据库检索能力

左:矢量RAG右:Graph+矢量RAG以《银河护卫队3》的数据集为例。当我们询问“彼得·奎尔的相关信息”时,单单矢量搜索引擎就只给出简单的身份、剧情、演员等信息。当我们使用Graph RAG来增强搜索结果时,它提供了更多关于主角技能、角色目标和身份变化的信息——在这个例子中,我们不难看出Graph RAG的方法有效地补充了嵌入、向量搜索等传统手段的不足。

Graph RAG和Text2Cypher的比较

基于atlas的LLM另一个有趣的方法是Text2Cypher,即自然语言生成图查询。这种方法不依赖于实体的子图检索,而是将任务/问题转化为面向答案的特定图查询,这和我们常说的Text2SQL的本质是一样的。

Text2Cypher和Graph RAG主要是检索机制不同。Text2Cypher根据知识图谱的图式和给定的任务生成一个图形化的图式查询,而(子)Graph RAG获取相关子图提供上下文。两者各有千秋,通过这个演示可以更直观的了解它们的特点:

【附】悦数图数据库推出:减少大模型“幻觉”优化向量数据库检索能力

左:Text2Cypher右:Graph RAG我们可以看到,可视化下的两种图查询方式有着非常明显的区别,基于Graph RAG的检索显然呈现出更丰富的结果。用户不仅可以获得最基本的介绍信息,还可以获得基于相关搜索和上下文的一系列推理结果,如“彼得·奎尔是银河护卫队的领袖”、“这个角色暗示他将在续集中回归”以及角色的性格等。

舒悦地图数据库:率先实现LLM适配,一键打造企业专属知识地图应用。

舒悦图数据库不仅是国内第一个提出图RAG概念的厂商,也是第一个实现与Llama Index、LangChain等大语言模型框架深度适配的厂商。因此,开发人员可以专注于LLM的布局逻辑和流水线设计,而无需亲自处理许多细节的抽象和实现,一站式生成高质量、低成本的企业级大型语言模型应用。

Graph RAG技术的出现可以说为海量信息处理和检索带来了一种全新的思路。Graph RAG通过将知识地图和图存储集成到LLM的技术栈中,将上下文学习推向了一个新的高度。目前,用户只需三行代码,就可以轻松构建一个基于悦数图形数据库的图形RAG,甚至可以集成更复杂的RAG逻辑,比如图形+矢量RAG。

相信随着图技术和深度学习算法的进一步发展,图RAG技术在信息处理和检索中的应用会越来越广泛。欢迎大家点击【联系我们】获得舒悦海图数据免费试用机。

 
回复列表
默认   热门   正序   倒序

回复:【附】悦数图数据库推出:减少大模型“幻觉”优化向量数据库检索能力

Powered by 7.12.10

©2015 - 2026 90Link

90link品牌推广 网站地图

您的IP:10.1.201.110,2026-04-06 13:15:37,Processed in 2.21222 second(s).

豫ICP备2023005541号

头像

用户名:

粉丝数:

签名:

资料 关注 好友 消息
免责声明
  • 1、本网站所刊载的文章,不代表本网站赞同其观点和对其真实性负责,仅供参考和借鉴。
  • 2、文章中的图片和文字版权归原作者所有,如有侵权请及时联系我们,我们将尽快处理。
  • 3、文章中提到的任何产品或服务,本网站不对其性能、质量、适用性、可靠性、安全性、法律合规性等方面做出任何保证或承诺,仅供读者参考,使用者自行承担风险。
  • 4、本网站不承担任何因使用本站提供的信息、服务或产品而产生的直接、间接、附带或衍生的损失或责任,使用者应自行承担一切风险。

侵权删除请致信 E-Mail:3454251265@qq.com