业界动态
优化大数据量查询方案——SpringBoot(Cloud)整合Elasticsearch
2024-11-01 01:15

实际业务场景中,多端的查询功能都有很大的优化空间。常见的处理方式有:建索引、建物化视图简化查询逻辑、DB层之上建立缓存、分页…

优化大数据量查询方案——SpringBoot(Cloud)整合Elasticsearch

然而随着业务数据量的不断增多,总有那么一张表或一个业务,是无法通过常规的处理方式来缩短查询时间的。在查询功能优化上,作为开发人员应该站在公司的角度,本着优化客户体验的目的去寻找解决方案。本人有幸做过Tomcat整合solr,今天一起研究一下当前比较火热的Elasticsearch搜索引擎。

Elasticsearch 是一个非常强大的搜索引擎。它目前被广泛地使用于各个 IT 公司。Elasticsearch 是由 Elastic 公司创建。它的代码位于 。目前,Elasticsearch 是一个免费及开放(free and open)的项目。

同时,Elastic 公司也拥有 Logstash 及 Kibana 开源项目。这个三个项目组合在一起,就形成了 ELK 软件栈。他们三个共同形成了一个强大的生态圈。简单地说,Logstash 负责数据的采集,处理(丰富数据,数据转换等,Kibana 负责数据展示,分析,管理,监督及应用。Elasticsearch 处于最核心的位置,它可以帮我们对数据进行快速地搜索及分析。

1.1下载

下载的方式有很多中,下面介绍我使用的方式。(MacOS系统

1)weget命令下载,其中第三步是对下载内容进行完整性校验,当出现OK时,说明下载的内容共是完整无误的。

550a35dc2c0d909646c1ca7933cc379a.png

2)brew命令下载

我的电脑是macOS12.0系统,下载时提示我的Xcode版本过低不兼容。网上有很多使用brew命令下载成功的,可以进行参考。

1.2启动Elasticsearch

完成下载后,在bin目录下进行启动

完成启动后,控制台显示如下

ae811579ddbd9528ce2cba7945c66ce5.png

而后进行页面测试访问,postman也可以, curl也行,默认启动端口9200。

78d030b5d2a628afc0d367ab835843ff.png

当出现如上图显示,表示ES第一步启动成功。

同时,为了方便查看ES中的相关数据,可以安装一下elasticsearch-head 可视化插件,网址如下

  • https://github.com/mobz/elasticsearch-head

下载完成后打开代码,是一个前端项目

ee36fde567a87e546ed13df414f6c9e7.png

控制台启动

eb77067a28e721715723dfc18fcdbb37.png

启动成功如上图,打开浏览器访问9100

ddf48a8bd2585aa53db30dbdc64e37a1.png

做到这步感觉对了又好像有点问题,打开控制台查看

db9a47181ef1e2d941dbfc3df991378a.png

发现全部是CORS错误。到下载的ESconfig文件夹下,修改文件elasticsearch.yml ,添加下面两行配置。

若出现如下图显示的内容,标识启动成功。如果未有下图这样显示,留言交流。

646ed1939fb75bd5304c7a00bd053c03.png

1.3Kibana

除了上面下载的可视化插件。官方提供的是Kibana。Kibana 是一个开源分析和可视化平台,旨在与 Elasticsearch 协同工作。你使用 Kibana 搜索,查看和与存储在 Elasticsearch 索引中的数据进行交互。你可以轻松执行高级数据分析,并在各种图表,表格和地图中可视化你的数据。

Kibana 使你可以轻松理解大量数据。其简单的基于浏览器的界面使你能够快速创建和共享动态仪表板,实时显示 Elasticsearch 查询的更改。

1.3.1 安装

官网

  • https://www.elastic.co/cn/kibana/

不支持运行 Kibana 和 Elasticsearch 的不同主要版本(例如 Kibana 5.x 和 Elasticsearch 2.x,也不支持比 Elasticsearch 版本更新的 Kibana 次要版本(例如 Kibana 5.1 和 Elasticsearch 5.0)。

同时也可以使用brew命令下载

启动命令

0057121f4d7b20bb1114b3196818a850.png

当出现上图所示以后,访问端口,默认5601

353e72da6151d185a5f05d0411cd39f9.png

我们也可以在浏览器中输入如下的地址 http://localhost:5601/status 以查看 Kibana 的状态

5cbde7efd839c719040d5de3b57336c1.png
1.3.2 汉化Kibana

进入Kibana的config文件下,修改yml文件

完成后 重新启动Kibana,访问地址如下

3671564387c50999b2abcbd57e08839f.png

成功汉化。

1.4创建索引及文档

有了上面的实例化工具,下面在页面上创建一个索引(index,并插入一个文档(document)。在日常的DB层,我们通常需要有专用的语句来生产相应的数据库,表格,然后才可以让我们输入相应的记录,但是针对 Elasticsearch 来说,这个是不必须的。ES是resultful请求完成操作。我们在左边的窗口中输入如下

98d7dbfb580e22d28dd9652f7769030d.png

请求参数解析:PUT请求。estest为索引名称, 为索引类型。json为存储的内容。返回时候,表示成功。其实,从创建就可以看出来一个很明显的问题,我们的字段定义,如user,uid,city等我们并没有像常规数据库中把每个目标值定义数据类型,数据长度。为了提高入门时的易用性,Elasticsearch 可以自动动态地为你创建索 mapping。

当我们建立一个索引的第一个文档时,如果你没有创建它的 schema,那么 Elasticsearch 会根据所输入字段的数据进行猜测它的数据类型,比如上面的 user 被被认为是 text 类型,而 uid 将被猜测为整数类型。这种方式我们称之为 schema on write,也即当我们写入第一个文档时,Elasticsearch 会自动帮我们创建相应的 schema。

写入文档时,如ID已存在,则更新文档内容,如不存在,创建文档。

bda5859642fb0c16fbcc9db27b9e419b.png

根据索引名称_mapping请求,可以得到在ES中各字段被定义的类型。

关于控制台的resultful请求有很多,在这里不做过多诠释,创建(Create,读取(Read,修改(Update,删除文档(Delete(CRUD)全部包含。具体的请求及参数可以查看官方文档。

9a3fd04a560a3fcc2cc2291adde5089c.png

至此,完成ES的配置、安装、启动。下面进行关键的一步,整合SpringBoot。

1.4整合SpringBoot

Sringboot整合ES的方法有很多,我也查询了相关资料,分别是TransportClient、RestClient、SpringData-Es、Elasticsearch-SQL。官方推荐的是RestClient。相关依赖

1.4.1引入依赖
1.4.2配置bean

该配置指向启动的ES服务。

1.4.3测试

做一个添加测试,代码如下

debug查看,发现执行完成。

494dc6f7f501a15dfb1eb0f8b962dd10.png

从Kibana控制台查看资源,像索引为users里 添加一条用户信息。通过控制台查询资源可以看到,数据已成功放入ES。

aaa32624f9d7e40ef30898b1a8b05d56.png

修改操作

删除操作

查询操作

以上以以简单的样例实现了springboot整合ES。使用起来很方便,对20W+的数据进行了测试,结果是毫秒级的响应。当然在实际项目应用当中,要充分根据项目的业务、框架进行拓展,充分发挥搜索引擎的优势,不断的提高客户体验,这样的产品才会得到客户的青睐。

注意问题

ES是个近实时查询引擎,和solr一样,所有的数据是在建立索引之上进行。在项目中对某一条数据的CUD一定要和数据库同步,对ES中的数据就行了相关调整后,也要异步对DB层的数据进行调整。确保数据的一致性。由于近段时间项目工作时间紧张,很多的细节操作及底层的实现包括结合项目的整体设计思路没有一一说明,需要用到的朋友可以对此篇文章做一个参考,有疑问欢迎留言沟通。

    以上就是本篇文章【优化大数据量查询方案——SpringBoot(Cloud)整合Elasticsearch】的全部内容了,欢迎阅览 ! 文章地址:http://sicmodule.glev.cn/news/8856.html 
     资讯      企业新闻      行情      企业黄页      同类资讯      首页      网站地图      返回首页 歌乐夫资讯移动站 http://sicmodule.glev.cn/mobile/ , 查看更多   
最新新闻
李子柒为何零持股,深度解析其背后的原因_落实执行
摘要:李子柒为何零持股?背后原
2024年投资什么赚钱?2024年赚钱的行业有哪些?
2024年投资什么赚钱?2024年赚钱的行业有哪些?各个行业随着时间和事件的转变,让人们有了几年的休息整理的时空,新的一年即将开
2024年商业机会凸显:如何把握市场新机遇?
在当今快速变化的市场环境中,我们经常听到关于“机遇”的讨论。那么,当前的商业环境中,究竟有哪些市场机遇值得我们关注?在20
行政管理专业大学排名_行政管理专业学什么_就业前景怎么样?
序号学校代码学校名称评选结果110002中国人民大学A+210003清华大学A+310001北京大学A410307南京农业大学A510335浙江大学A610486
15大“未来”行业热门专业介绍,十个工科专业推荐!读研后薪资飞涨的9大专业!
今年,工信部等七部门联合发布《关于推动未来产业创新发展的实施意见》,提出:要面向未来信息、未来健康、未来制造、未来能源、
马云预言未来十大行业_未来最有前景的职业
马云作为成功的企业家、先行者,所说未来的热门赚钱行业有过很多预测性的发言都被验证了,小编相信有很多的者都在电视上看过马云
2024十大就业前景好的专业排名 读什么专业好就业
高中频道2024-06-05 19:402024年就业率最高的十大专业包括:人工智能与机器学习专业、能源与动力工程专业、机械工程专业、微电子
这个国家很脆弱,入境时不仅食物要申报,连鞋底的土都要仔细检查
“黑夜给了我一双黑色的眼睛,我却用它寻找光明。”——顾城 中国朦胧派诗人顾城,在1988年携妻子隐居于新西兰激流岛,在这个小
最适合女生的八大专业,学出来既有价值又有颜值!
现代社会提倡女性独立,区别于过去的女性。她们不靠男人养活,自己有赚钱养家的能力。很多女生都把职业放在第一,毕竟经济基础决
2024年选什么专业?速来看看20大“未来”行业热门专业推荐,发展前景大好!
易升学小易老师提醒:在未来国家将重点关注对相关专业的建设工作,相关专业未来发展会大有前途,值得考生和家长关注!PART.01未