介紹
Spring boot整合elastic search 7.9.1實(shí)現(xiàn)全文檢索。主要包含以下特性：
- 全文檢索的實(shí)現(xiàn)主要包括構(gòu)建索引、高級搜索、聚集統(tǒng)計(jì)、數(shù)據(jù)建模四個(gè)模塊；
- 使用 elasticsearch-rest-high-level-client 來操作elasticsearch，構(gòu)建索引時(shí)，根據(jù)實(shí)際情況考慮哪些字段需要分詞，哪些不需要分詞，這會(huì)影響搜索結(jié)果。使用IK分詞器雖然能解決一些中文分詞的問題，但是由于分詞的粒度不夠細(xì)，導(dǎo)致很多詞語可能搜不到。例如ik分詞器在構(gòu)建索引“三國無雙”時(shí)，會(huì)把“三國”“無雙”存起來建索引，但是搜索“國無”時(shí)，搜不出來，因此，我們采用把文本拆分到最細(xì)粒度來進(jìn)行分詞，從而最大限度地搜索到相關(guān)結(jié)果。詳情參考：如何手動(dòng)控制分詞粒度提高搜索的準(zhǔn)確性
- 高級搜索實(shí)現(xiàn)了以下幾種：多字段搜索,指定多個(gè)字段進(jìn)行搜索:query_string，支持高亮顯示經(jīng)緯度搜索:distanceQuery范圍過濾,對搜索結(jié)果進(jìn)一步按照范圍進(jìn)行條件過濾：rangeQuery
- 搜索結(jié)果的展示提供了普通分頁和滾動(dòng)分頁兩種實(shí)現(xiàn)。普通分頁只適合數(shù)據(jù)量較小的場景，在數(shù)據(jù)量非常大的情況下，start+size普通分頁會(huì)把全部記錄加載到內(nèi)存中，這樣做不但運(yùn)行速度特別慢，而且容易讓es出現(xiàn)內(nèi)存不足而掛掉。滾動(dòng)分頁需要得到一個(gè)scrollid，以后每次使用scrollid去獲取下一頁的內(nèi)容，缺點(diǎn)是不能跳頁。
- 聚集統(tǒng)計(jì)包含詞條聚集、日期直方圖聚集、范圍聚集，并使用chart.js進(jìn)行可視化
- 數(shù)據(jù)建模部分實(shí)現(xiàn)了嵌套對象的使用，查詢時(shí)無需join性能較好，但是在建索引時(shí)就要把關(guān)聯(lián)數(shù)據(jù)join好嵌套進(jìn)去。
- swagger入口：http://localhost:8080/swagger-ui.html
- 新增數(shù)據(jù)庫數(shù)據(jù)導(dǎo)入es的工具，編程實(shí)現(xiàn)比logstash靈活。使用請切換分支到master。db-import-elastic_search
- 通用的多條件查詢結(jié)構(gòu)模板是布爾查詢，其中must部分放入帶分詞的搜索例如match、querystring等；filter部分放入過濾條件例如term、range等查詢。因?yàn)閒ilter部分利用緩存、跳過相關(guān)度打分提高性能：
// 通用查詢結(jié)構(gòu)模板
{
"query": {
"bool": {
"must": [
{ "match": { "title": "Search" }},
{ "match": { "content": "Elasticsearch" }}
],
"filter": [
{ "term": { "status": "published" }},
{ "range": { "publish_date": { "gte": "2015-01-01" }}}
]
}
}
}
構(gòu)建索引
搜狗日志列表
經(jīng)緯度搜索
數(shù)據(jù)統(tǒng)計(jì)分析
各國家城市列表
has parent搜索
has child搜索
源代碼地址：Spring-elastic_search: Spring boot整合Elasticsearch實(shí)現(xiàn)全文檢索和大數(shù)據(jù)分析
