今天我们将向大家介绍 Elasticsearch Relevance Engine?(ESRE?),这是一种创建高度相关的 AI 搜索应用程序的新功能。ESRE 建立在 Elastic 在搜索领域的领导地位以及超过两年的机器学习研究和开发基础之上。Elasticsearch Relevance Engine 结合了 AI 的最佳实践和 Elastic 的文本搜索。ESRE 为开发人员提供了一整套将复杂的检索算法和与大型语言模型(LLM)集成的能力。不仅如此,ESRE使用Elastic的简单、统一API,开发人员可以立即开始以提高搜索相关性,因为这些API已经得到Elastic社区的信任和广泛应用。
Elasticsearch Relevance Engine 的可配置功能可通过以下方式提高相关性:
搜索的发展始终受到提高相关性和不断改进搜索应用程序交互方式的需求的推动。高度相关的搜索结果可以导致搜索应用程序上的用户参与度增加,对收入和生产力产生重大的影响。在新的 LLM 和生成式 AI 世界中,搜索可以走得更远,理解用户意图,提供前所未有的响应特定性。
值得注意的是,每一次搜索进步都提供了更好的相关性,同时解决了新兴技术和不断变化的用户行为所带来的新挑战。无论是扩展关键字搜索以提供语义搜索,还是为视频和图像启用新的搜索模式,新技术都需要独特的工具来为搜索用户提供更好的体验。同样,当今人工智能世界需要一个新的、高度可扩展的开发人员工具包,该工具包应建立在被广泛印证、被客户测试过的技术堆栈上。
随着生成式 AI 的发展势头和 ChatGPT 等技术的日益普及,以及对大型语言模型能力的日益增强的认识,开发人员渴望尝试使用技术来改进他们的应用程序。Elasticsearch Relevance Engine 为生成式 AI 世界带来了新的能力,并以强大的工具迎接当今时代,任何开发团队都可以立即使用。
Elasticsearch Relevance Engine 现在可以在 Elastic Cloud 上使用,这是唯一一个包含此最新版本中所有新功能的托管 Elasticsearch 服务。您还可以下载 Elastic Stack 和我们的云编排产品 Elastic Cloud Enterprise 和 Elastic Cloud for Kubernetes,以在自建集群上获得体验。
想了解更多关于Elasticsearch Relevance Engine?的信息?请查看这些技术博客:
Elasticsearch Relevance Engine? 可以很好地帮助开发人员快速发展并应对自然语言搜索的这些挑战,包括生成 AI。
我们还意识到,后期交互模型的出现使我们能够提供开箱即用的功能——无需对第三方数据集进行大量培训或微调。由于并非每个开发团队都有资源或专业知识来训练和维护机器学习模型,也不了解规模、性能和速度之间的权衡,因此 Elasticsearch Relevance Engine 还提供了 Elastic Learned Sparse Encoder,一个为跨领域语义搜索而构建的检索模型。该模型将稀疏向量与基于关键字的传统 BM25 搜索配对,为混合搜索提供了一个易于使用的Reciprocal Rank Fusion (RRF)评分器。ESRE 在第一天就为开发人员提供了机器学习驱动的相关性和混合搜索技术。
Elastic 提供基于角色和基于属性的访问控制的原生支持,以确保只有那些有权访问数据的角色才能看到它,即使对于聊天和问答应用程序也是如此。Elasticsearch 可以支持您的组织保持某些文档可供特权个人访问的需求,从而帮助您的组织维护所有搜索应用程序的通用隐私和访问控制。
当隐私是最重要的关注点时,将所有数据保留在您组织的网络内不仅是至关重要的,而且是必须的。从允许您的组织实现在隔离环境中部署应用程序,到支持访问安全网络,ESRE提供了您需要的工具来帮助您的组织保护您的数据安全。
lasticsearch Relevance Engine为企业提供了一种高效地提供相关性的引擎,它使用精确的上下文窗口来帮助减少数据占用空间,而不会带来麻烦和费用。
Elasticsearch Relevance Engine让开发者可以通过生成式AI模型中的一个上下文窗口,连接到他们自己的数据存储。添加的搜索结果可以提供来自私有源或专业领域的最新信息,因此在被提示时可以返回更多的事实信息,而不是仅仅依赖于模型所谓的“参数化”知识。
Elasticsearch Relevance Engine包含了一个经过设计的弹性、生产级的向量数据库。它为开发者提供了一个构建丰富的语义搜索应用程序的基础。使用Elastic的平台,开发团队可以使用密集向量检索来创建更直观的问答,不受关键字或同义词的限制。他们可以使用图像等非结构化数据来构建多模态搜索,甚至可以对用户画像进行建模来获取个性化的搜索结果,以用于产品和发现、求职或配对应用程序。这些NLP转换器模型还可以实现情感分析、命名实体识别和文本分类等机器学习任务。Elastic的向量数据库让开发者可以创建、存储和查询向量,这些向量具有高度的可扩展性和性能,适用于真正的生产应用程序。
Elasticsearch擅长高相关性的搜索检索。有了ESRE,Elasticsearch为生成式AI提供了与企业专有数据相连接的上下文窗口,让开发者可以构建更吸引人、更准确的搜索体验。搜索结果根据用户的原始查询返回,开发者可以将数据传递给他们选择的语言模型,以提供带有额外上下文的答案。Elastic利用来自您企业存储的相关上下文数据内容,为问答和个性化功能提供加速,这些数据是私有的,也是针对您业务定制的。
随着Elasticsearch Relevance Engine的发布,我们正在使Elastic的专有检索模型随时可用。该模型易于下载,并且可以与我们所有的摄取机制(如Elastic 网络爬虫、连接器或API)一起使用。开发者可以将其与他们可搜索的语料库一起开箱即用,而且它足够小,可以适应笔记本电脑的内存。Elastic Learned Sparse Encoder为诸如知识库、学术期刊、法律发现和专利数据库等搜索用例提供了跨领域的语义搜索,无需调整或训练就能提供高度相关的搜索结果。
大多数真实世界的测试显示,混合排名技术正在产生最相关的搜索结果集。直到现在,我们一直缺少一个关键组件——RRF。我们现在为您的应用程序搜索需求提供RRF,这样您就可以将向量和文本搜索能力结合起来。
机器学习在增强搜索结果与语义上下文的相关性方面处于领先地位,但是往往由于成本、复杂性和资源需求而使得开发者难以有效地实施它。开发者通常需要专业机器学习或数据科学团队的支持来构建高度相关的AI驱动的搜索。这些团队花费大量时间选择合适的模型,在特定领域的数据集上进行训练,并随着数据及其关系变化而维护模型。
了解 Go1 如何使用 Elastic 的矢量数据库进行可扩展的语义搜索。
没有专业团队支持的开发者也可以实施语义搜索,并从一开始就受益于 AI 驱动的搜索相关性,而无需其他替代方案所需的努力和专业知识。从今天开始,所有客户都拥有构建块来帮助实现更好的相关性和更现代、更智能的搜索。
现有的 Elastic Cloud 客户可以直接从Elastic Cloud 控制台访问其中的许多功能。没有利用 Elastic on Cloud?了解如何将 Elasticsearch 与 LLM 和生成式 AI 结合使用。
本博文中描述的任何特性或功能的发布和时间安排均由 Elastic 自行决定。任何目前还没有的功能或特性,可能会延期或者根本不会出现。
Elastic、Elasticsearch、Elasticsearch Relevance Engine、ESRE、Elastic Learned Sparse Encoder 和相关标记是 Elasticsearch NV 在美国和其他国家/地区的商标、徽标或注册商标。所有其他公司和产品名称均为其各自所有者的商标、徽标或注册商标。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。
原创声明:本文系作者授权腾讯云开发者社区发表,未经许可,不得转载。
如有侵权,请联系 cloudcommunity@tencent.com 删除。