业界动态
优化大数据量查询方案——SpringBoot(Cloud)整合Elasticsearch
2024-11-01 01:15

实际业务场景中,多端的查询功能都有很大的优化空间。常见的处理方式有:建索引、建物化视图简化查询逻辑、DB层之上建立缓存、分页…

优化大数据量查询方案——SpringBoot(Cloud)整合Elasticsearch

然而随着业务数据量的不断增多,总有那么一张表或一个业务,是无法通过常规的处理方式来缩短查询时间的。在查询功能优化上,作为开发人员应该站在公司的角度,本着优化客户体验的目的去寻找解决方案。本人有幸做过Tomcat整合solr,今天一起研究一下当前比较火热的Elasticsearch搜索引擎。

Elasticsearch 是一个非常强大的搜索引擎。它目前被广泛地使用于各个 IT 公司。Elasticsearch 是由 Elastic 公司创建。它的代码位于 。目前,Elasticsearch 是一个免费及开放(free and open)的项目。

同时,Elastic 公司也拥有 Logstash 及 Kibana 开源项目。这个三个项目组合在一起,就形成了 ELK 软件栈。他们三个共同形成了一个强大的生态圈。简单地说,Logstash 负责数据的采集,处理(丰富数据,数据转换等,Kibana 负责数据展示,分析,管理,监督及应用。Elasticsearch 处于最核心的位置,它可以帮我们对数据进行快速地搜索及分析。

1.1下载

下载的方式有很多中,下面介绍我使用的方式。(MacOS系统

1)weget命令下载,其中第三步是对下载内容进行完整性校验,当出现OK时,说明下载的内容共是完整无误的。

550a35dc2c0d909646c1ca7933cc379a.png

2)brew命令下载

我的电脑是macOS12.0系统,下载时提示我的Xcode版本过低不兼容。网上有很多使用brew命令下载成功的,可以进行参考。

1.2启动Elasticsearch

完成下载后,在bin目录下进行启动

完成启动后,控制台显示如下

ae811579ddbd9528ce2cba7945c66ce5.png

而后进行页面测试访问,postman也可以, curl也行,默认启动端口9200。

78d030b5d2a628afc0d367ab835843ff.png

当出现如上图显示,表示ES第一步启动成功。

同时,为了方便查看ES中的相关数据,可以安装一下elasticsearch-head 可视化插件,网址如下

  • https://github.com/mobz/elasticsearch-head

下载完成后打开代码,是一个前端项目

ee36fde567a87e546ed13df414f6c9e7.png

控制台启动

eb77067a28e721715723dfc18fcdbb37.png

启动成功如上图,打开浏览器访问9100

ddf48a8bd2585aa53db30dbdc64e37a1.png

做到这步感觉对了又好像有点问题,打开控制台查看

db9a47181ef1e2d941dbfc3df991378a.png

发现全部是CORS错误。到下载的ESconfig文件夹下,修改文件elasticsearch.yml ,添加下面两行配置。

若出现如下图显示的内容,标识启动成功。如果未有下图这样显示,留言交流。

646ed1939fb75bd5304c7a00bd053c03.png

1.3Kibana

除了上面下载的可视化插件。官方提供的是Kibana。Kibana 是一个开源分析和可视化平台,旨在与 Elasticsearch 协同工作。你使用 Kibana 搜索,查看和与存储在 Elasticsearch 索引中的数据进行交互。你可以轻松执行高级数据分析,并在各种图表,表格和地图中可视化你的数据。

Kibana 使你可以轻松理解大量数据。其简单的基于浏览器的界面使你能够快速创建和共享动态仪表板,实时显示 Elasticsearch 查询的更改。

1.3.1 安装

官网

  • https://www.elastic.co/cn/kibana/

不支持运行 Kibana 和 Elasticsearch 的不同主要版本(例如 Kibana 5.x 和 Elasticsearch 2.x,也不支持比 Elasticsearch 版本更新的 Kibana 次要版本(例如 Kibana 5.1 和 Elasticsearch 5.0)。

同时也可以使用brew命令下载

启动命令

0057121f4d7b20bb1114b3196818a850.png

当出现上图所示以后,访问端口,默认5601

353e72da6151d185a5f05d0411cd39f9.png

我们也可以在浏览器中输入如下的地址 http://localhost:5601/status 以查看 Kibana 的状态

5cbde7efd839c719040d5de3b57336c1.png
1.3.2 汉化Kibana

进入Kibana的config文件下,修改yml文件

完成后 重新启动Kibana,访问地址如下

3671564387c50999b2abcbd57e08839f.png

成功汉化。

1.4创建索引及文档

有了上面的实例化工具,下面在页面上创建一个索引(index,并插入一个文档(document)。在日常的DB层,我们通常需要有专用的语句来生产相应的数据库,表格,然后才可以让我们输入相应的记录,但是针对 Elasticsearch 来说,这个是不必须的。ES是resultful请求完成操作。我们在左边的窗口中输入如下

98d7dbfb580e22d28dd9652f7769030d.png

请求参数解析:PUT请求。estest为索引名称, 为索引类型。json为存储的内容。返回时候,表示成功。其实,从创建就可以看出来一个很明显的问题,我们的字段定义,如user,uid,city等我们并没有像常规数据库中把每个目标值定义数据类型,数据长度。为了提高入门时的易用性,Elasticsearch 可以自动动态地为你创建索 mapping。

当我们建立一个索引的第一个文档时,如果你没有创建它的 schema,那么 Elasticsearch 会根据所输入字段的数据进行猜测它的数据类型,比如上面的 user 被被认为是 text 类型,而 uid 将被猜测为整数类型。这种方式我们称之为 schema on write,也即当我们写入第一个文档时,Elasticsearch 会自动帮我们创建相应的 schema。

写入文档时,如ID已存在,则更新文档内容,如不存在,创建文档。

bda5859642fb0c16fbcc9db27b9e419b.png

根据索引名称_mapping请求,可以得到在ES中各字段被定义的类型。

关于控制台的resultful请求有很多,在这里不做过多诠释,创建(Create,读取(Read,修改(Update,删除文档(Delete(CRUD)全部包含。具体的请求及参数可以查看官方文档。

9a3fd04a560a3fcc2cc2291adde5089c.png

至此,完成ES的配置、安装、启动。下面进行关键的一步,整合SpringBoot。

1.4整合SpringBoot

Sringboot整合ES的方法有很多,我也查询了相关资料,分别是TransportClient、RestClient、SpringData-Es、Elasticsearch-SQL。官方推荐的是RestClient。相关依赖

1.4.1引入依赖
1.4.2配置bean

该配置指向启动的ES服务。

1.4.3测试

做一个添加测试,代码如下

debug查看,发现执行完成。

494dc6f7f501a15dfb1eb0f8b962dd10.png

从Kibana控制台查看资源,像索引为users里 添加一条用户信息。通过控制台查询资源可以看到,数据已成功放入ES。

aaa32624f9d7e40ef30898b1a8b05d56.png

修改操作

删除操作

查询操作

以上以以简单的样例实现了springboot整合ES。使用起来很方便,对20W+的数据进行了测试,结果是毫秒级的响应。当然在实际项目应用当中,要充分根据项目的业务、框架进行拓展,充分发挥搜索引擎的优势,不断的提高客户体验,这样的产品才会得到客户的青睐。

注意问题

ES是个近实时查询引擎,和solr一样,所有的数据是在建立索引之上进行。在项目中对某一条数据的CUD一定要和数据库同步,对ES中的数据就行了相关调整后,也要异步对DB层的数据进行调整。确保数据的一致性。由于近段时间项目工作时间紧张,很多的细节操作及底层的实现包括结合项目的整体设计思路没有一一说明,需要用到的朋友可以对此篇文章做一个参考,有疑问欢迎留言沟通。

    以上就是本篇文章【优化大数据量查询方案——SpringBoot(Cloud)整合Elasticsearch】的全部内容了,欢迎阅览 ! 文章地址:http://sicmodule.glev.cn/news/8856.html 
     资讯      企业新闻      行情      企业黄页      同类资讯      首页      网站地图      返回首页 歌乐夫资讯移动站 http://sicmodule.glev.cn/mobile/ , 查看更多   
最新新闻
京东改手机号(京东改手机号码)
  关于《京东改手机号》的指南  随着互联网的普及和电子商务的飞速发展,京东作为中国最大的电商平台之一,吸引了众多用户的
手机唤醒功能(手机唤醒功能在哪)
  文章标题:《手机唤醒功能:科技之光唤醒生活的便捷性》  随着科技的飞速发展,智能手机已经成为了我们日常生活中不可或缺
手机用什么p图软件(手机用什么p图软件不压缩)
  手机用什么P图软件?全面解析当下最热门的移动修图工具  随着智能手机的普及,人们对照片的美观度要求越来越高。因此,各
手机架怎么折(手机架怎么折视频教程)
  标题:《手把手教你折出实用的手机架》  在当今时代,手机已成为我们日常生活中不可或缺的伴侣。随着手机的普及,手机架也
手机内存空间不足怎么清理(手机内存空间不足,建议清理)
  关于《手机内存空间不足怎么清理》的文章  随着智能手机的普及,我们的手机中存储的信息越来越多,无论是工作文件、照片、
手机场景图(手机场景服务在哪里)
  关于《手机场景图》的文章  随着智能手机的普及,我们的生活越来越离不开手机。在日常生活中,我们会用手机拍摄各种场景,
手机没电了打电话提示什么(手机没电了打过去会提示什么)
  文章标题:《手机没电了打电话提示什么》  在这个科技日新月异的时代,手机已成为我们日常生活中不可或缺的一部分。然而,
手机没充满电拔了对手机有坏处吗(手机充电中途拔掉会影响手机吗)
  关于《手机没充满电拔了对手机有坏处吗》的探讨  随着科技的飞速发展,智能手机已成为我们日常生活中不可或缺的伙伴。与此
华为手机图案解锁(华为手机图案解锁设置不见了)
  华为手机图案解锁:一种直观且便捷的安全方式  随着科技的进步和智能手机的普及,手机安全成为人们日益关心的问题。在众多
天马手机屏幕(天马手机屏幕寿命)
  天马手机屏幕:技术与艺术的完美结合  在当今智能手机市场,天马手机屏幕以其卓越的品质和技术创新赢得了广大消费者的青睐