前言
哈喽,大家好,我是丸子。
搜索引擎想必大家都并不陌生,比如百度,谷歌都是常见的搜索引擎。
在我们实际的项目开发中,也经常遇到类似的业务需求,比如公司要开发一个知识库项目,知识库里有上百万条文章,要求我们能够输入关键字,查询出包含有关键字的文章内容,并且对关键字进行高亮处理,显示查询后的最佳摘要,这个时候传统的数据库LIKE查询虽然能勉强满足业务需求,但是查询速度令人无法忍受,这个时候就需要借助搜索引擎来进行处理。
在Java开发领域,Lucene可以算是开山鼻祖,现在常用的Solr和ElasticSearch底层都是基于Lucene,很多开发人员并没有系统的学习过Lucene,都是直接上手Solr或ElasticSearch进行开发,但实际上掌握Lucene的常用api,理解其底层原理还是比较重要的,这有利于我们对全文检索领域有更加深入的理解,同时我们也可以根据自己的业务需求定制个性化的搜索引擎,我所在的公司使用的就是基于Lucene自研的搜索引擎服务,针对公司独特的业务场景,使用起来特别方便。
本篇文章将详细讲解如何使用SpringBoot集成Lucene实现自己的轻量级搜索引擎,相关源码资料可以查看文末获取!
Lucene为什么查的快
Lucene之所以查的快,原因在于它内部使用了倒排索引算法,在这里简单的介绍一下原理:
普通查询是根据文章找关键字,而倒排索引是根据关键字找文章!
比如“我今天很开心,因为马上就要下班了”这句话,从中搜索“开心”,普通查询要遍历整句话,直到找到“开心”二字为止,效率低下。倒排索引则是对整句话使用分词器进行分词处理,从而“开心”二字可以直接指向这句话,搜索的时候直接就可以根据“开心”搜到所属的内容,达到快速响应的效果。
springBoot集成Lucene
下面我会以Demo的形式详细讲解springBoot如何集成Lucene实现增删查改,以及显示高亮和最佳摘要(demo全部资料和源码在文末获取)。
一.建表
以Mysql为例,创建数据库lucene_demo,建表article,作为数据源,之后对表内容进行增删查改的时候同步到Lucene索引数据,建表语句如下:
CREATE TABLE `article` (
`id` int(11) NOT NULL AUTO_INCREMENT COMMENT '主键id',
`title` varchar(200) DEFAULT NULL COMMENT '标题',
`content` longtext COMMENT '内容',
PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8mb4;
二.创建SpringBoot项目
在这里我直接拿自己的代码生成器生成,配置好基础内容点击生成,即可生成一个完整的前后台项目框架,省去了搭建项目的繁琐步骤,这样我们可以在生成的代码基础上进行开发:
生成的项目结构和代码如下:
三.引入Lucene相关依赖
pom.xml引入Lucene相关依赖:
<dependency>
<groupId>org.apache.lucene</groupId>
<artifactId>lucene-core</artifactId>
<version>8.1.0</version>
</dependency>
<dependency>
<groupId>org.apache.lucene</groupId>
<artifactId>lucene-analyzers-common</artifactId>
<version>8.1.0</version>
</dependency>
<dependency>
<groupId>org.apache.lucene</groupId>
<artifactId>lucene-queryparser</artifactId>
<version>8.1.0</version>
</dependency>
<dependency>
<groupId>org.apache.lucene</groupId>
<artifactId>lucene-highlighter</artifactId>
<version>8.1.0</version>
</dependency>
四.引入IK分词器依赖
目前市面上有不少中文分词器,但最受欢迎的还是IK分词器,Lucene自带的分词器对中文只能单字拆分,显然不符合我们的需求,但IK分词器解决了这个问题,他可以把一段话分成多组不同的中文单词,帮助建立搜索索引。
公共maven仓库中没有IK分词器的依赖,需要我们install一下,文末资料中有IK分词器的源码,可以导入idea直接install到自己的maven仓库,然后引入依赖到项目即可。
pom.xml引入Ik分词器相关依赖(因为之前已经引入了Lucene相关依赖,所以引入Ik的时候去除一下,防止依赖冲突):
<dependency>
<groupId>org.wltea.ik-analyzer</groupId>
<artifactId>ik-analyzer</artifactId>
<version>8.1.0</version>
<exclusions>
<exclusion>
<groupId>org.apache.lucene</groupId>
<artifactId>lucene-analyzers-common</artifactId>
</exclusion>
<exclusion>
<groupId>org.apache.lucene</groupId>
<artifactId>lucene-queryparser</artifactId>
</exclusion>
<exclusion>
<groupId>org.apache.lucene</groupId>
<artifactId>lucene-core</artifactId>
</exclusion>
<exclusion>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-api</artifactId>
</exclusion>
</exclusions>
</dependency>
五.项目启动时加载IK分词器
最好在我们启动项目的时候就把IK分词器加载进内存当中,这样第一次查询就不必再进行加载,避免第一次查询因为加载分词器造成卡顿,创建init包,建立BusinessInitializer类,如下:
代码如下:
package lucenedemo.init;
import org.springframework.boot.ApplicationArguments;
import org.springframework.boot.ApplicationRunner;
import org.springframework.stereotype.Component;
import org.wltea.analyzer.cfg.DefaultConfig;
import org.wltea.analyzer.dic.Dictionary;
/**
* 业务初始化器
*
* @author zrx
*/
@Component
public class BusinessInitializer implements ApplicationRunner {
@Override
public void run(ApplicationArguments args) {
//加载ik分词器配置 防止第一次查询慢
Dictionary.initial(DefaultConfig.getInstance());
}
}
引入IK的配置文件IKAnalyzer.cfg.xml以及扩展字典ext.dic和停止词字典stopword.dic,可以添加和屏蔽某些词语,把配置文件放入resources下:
在这里我们添加两个扩展词小螺旋丸和小千鸟,查询的时候可以用来做测试,如果测试的时候可以被完整标记高亮,说明词语被成功识别,因为IK自带的字典里,没有这两个单词,IK自带的字典位于IK源码的resources包下,感兴趣的朋友可以通过源码自行查看:
添加完毕,我们启动项目,发现词典被成功加载,如下:
接下来我们进行增删查改的开发。
六.增删查改业务开发:
1、配置索引库存放位置
首先我们需要配置索引的存放位置,可以把它理解为一个数据库,只不过这个数据库存放的是一些索引文件,我们在yml中指定位置,创建Config配置类,用@value注解获取它的值,方便随时在代码中获取,如下:
2、增删查改的时候同步索引:
数据库的增删查改方法代码生成器已经帮助我们生成完毕,只需要在原来的功能基础上添加对于索引库相关的代码逻辑即可!
首先是添加和更新操作,添加更新放在一起,根据主键id判断,如果索引中存在此id,则更新,否则添加,在service实现类中添加addOrUpIndex方法,同时每次添加和更新的时候都要调一下此方法,同步索引,代码基本每一行都有完整注释,如下:
/**
* mapper文件里增加 useGeneratedKeys="true" keyProperty="id" keyColumn="id"属性,否则自增主键映射不上
*
* @param entity
*/
@Override
public void add(ArticleEntity entity) {
dao.add(entity);
addOrUpIndex(entity);
}
@Override
public void update(ArticleEntity entity) {
dao.update(entity);
addOrUpIndex(entity);
}
/**
* 添加或更新索引
* @param entity
*/
private void addOrUpIndex(ArticleEntity entity) {
IndexWriter indexWriter = null;
IndexReader indexReader = null;
Directory directory = null;
Analyzer analyzer = null;
try {
//创建索引目录文件
File indexFile = new File(config.getIndexLibrary());
File[] files = indexFile.listFiles();
// 1. 创建分词器,分析文档,对文档进行分词
analyzer = new IKAnalyzer();
// 2. 创建Directory对象,声明索引库的位置
directory = FSDirectory.open(Paths.get(config.getIndexLibrary()));
// 3. 创建IndexWriteConfig对象,写入索引需要的配置
IndexWriterConfig writerConfig = new IndexWriterConfig(analyzer);
// 4.创建IndexWriter写入对象
indexWriter = new IndexWriter(directory, writerConfig);
// 5.写入到索引库,通过IndexWriter添加文档对象document
Document doc = new Document();
//查询是否有该索引,没有添加,有则更新
TopDocs topDocs = null;
//判断索引目录文件是否存在文件,如果没有文件,则为首次添加,有文件,则查询id是否已经存在
if (files != null && files.length != 0) {
//创建查询对象
QueryParser queryParser = new QueryParser("id", analyzer);
Query query = queryParser.parse(String.valueOf(entity.getId()));
indexReader = DirectoryReader.open(directory);
IndexSearcher indexSearcher = new IndexSearcher(indexReader);
//查询获取命中条目
topDocs = indexSearcher.search(query, 1);
}
//StringField 不分词 直接建索引 存储
doc.add(new StringField("id", String.valueOf(entity.getId()), Field.Store.YES));
//TextField 分词 建索引 存储
doc.add(new TextField("title", entity.getTitle(), Field.Store.YES));
//TextField 分词 建索引 存储
doc.add(new TextField("content", entity.getContent(), Field.Store.YES));
//如果没有查询结果,添加
if (topDocs != null && topDocs.totalHits.value == 0) {
indexWriter.addDocument(doc);
//否则,更新
} else {
indexWriter.updateDocument(new Term("id", String.valueOf(entity.getId())), doc);
}
} catch (Exception e) {
e.printStackTrace();
throw new RuntimeException("添加索引库出错:" + e.getMessage());
} finally {
if (indexWriter != null) {
try {
indexWriter.close();
} catch (IOException e) {
e.printStackTrace();
}
}
if (indexReader != null) {
try {
indexReader.close();
} catch (IOException e) {
e.printStackTrace();
}
}
if (directory != null) {
try {
directory.close();
} catch (IOException e) {
e.printStackTrace();
}
}
if (analyzer != null) {
analyzer.close();
}
}
}
代码应该很容易就可以看明白,这里我们把实体的title和content进行分词,并存储为索引文件,所以接下来查询的时候也要根据这两个字段来进行查询,查询的时候我们要对查询结果进行分页,Lucene的分页方式比较特别,他没有类似数据库那种提供开始和结束下标定位元素的方法,而是只能指定查询的总条目数,然后把所有的命中结果查询出来,比如一共有100条数据,查询第一页返回10条,查询第十页则会返回100条,需要我们在逻辑上对查询结果进行分页,取我们想要的数据,也可以利用Luncene提供的SearchAfter方法进行查询,它可以根据指定的最后一个元素查询接下来指定数目的元素,但这需要我们查询出前n个元素然后取最后一个元素传给SearchAfter方法,两种方法效率上并没有太大区别,毕竟Lucene本身就很快。但这也涉及到一个问题,如果查询的数据量过多,比如上千万条可能会导致内存溢出,这就需要我们根据业务做一个取舍,用户在查询的时候通常只会看前几页的数据,所以我们可以指定一下最大的查询数量,比如10000条,无论实际符合条件的结果有多少,我们最多只查询前10000条,这样问题便得到解决,其实很多搜索引擎也是这样做的!
如果你说我就要看全部的数据,那就涉及到了数据的分布式存储,在分页的时候就需要每台服务器进行查询然后汇总查询结果,这里的问题就比较复杂了,在此处不做深究,以后可以专门聊一聊,其实业界已经有了几种比较成熟的解决方案,可以较好的解决分布式存储的分页问题。
这里代码中并没有指定查询的最大数量,毕竟是个demo,没必要弄的这么复杂,代码如下:
@Override
public PageData<ArticleEntity> fullTextSearch(String keyWord, Integer page, Integer limit) {
List<ArticleEntity> searchList = new ArrayList<>(10);
PageData<ArticleEntity> pageData = new PageData<>();
File indexFile = new File(config.getIndexLibrary());
File[] files = indexFile.listFiles();
//沒有索引文件,不然沒有查詢結果
if (files == null || files.length == 0) {
pageData.setCount(0);
pageData.setTotalPage(0);
pageData.setCurrentPage(page);
pageData.setResult(new ArrayList<>());
return pageData;
}
IndexReader indexReader = null;
Directory directory = null;
try (Analyzer analyzer = new IKAnalyzer()) {
directory = FSDirectory.open(Paths.get(config.getIndexLibrary()));
//多项查询条件
QueryParser queryParser = new MultiFieldQueryParser(new String[]{"title", "content"}, analyzer);
//单项
//QueryParser queryParser = new QueryParser("title", analyzer);
Query query = queryParser.parse(!StringUtils.isEmpty(keyWord) ? keyWord : "*:*");
indexReader = DirectoryReader.open(directory);
//索引查询对象
IndexSearcher indexSearcher = new IndexSearcher(indexReader);
TopDocs topDocs = indexSearcher.search(query, 1);
//获取条数
int total = (int) topDocs.totalHits.value;
pageData.setCount(total);
int realPage = total % limit == 0 ? total / limit : total / limit + 1;
pageData.setTotalPage(realPage);
//获取结果集
ScoreDoc lastSd = null;
if (page > 1) {
int num = limit * (page - 1);
TopDocs tds = indexSearcher.search(query, num);
lastSd = tds.scoreDocs[num - 1];
}
//通过最后一个元素去搜索下一页的元素 如果lastSd为null,查询第一页
TopDocs tds = indexSearcher.searchAfter(lastSd, query, limit);
QueryScorer queryScorer = new QueryScorer(query);
//最佳摘要
SimpleSpanFragmenter fragmenter = new SimpleSpanFragmenter(queryScorer, 200);
//高亮前后标签
SimpleHTMLFormatter formatter = new SimpleHTMLFormatter("<b><font color='red'>", "</font></b>");
//高亮对象
Highlighter highlighter = new Highlighter(formatter, queryScorer);
//设置高亮最佳摘要
highlighter.setTextFragmenter(fragmenter);
//遍历查询结果 把标题和内容替换为带高亮的最佳摘要
for (ScoreDoc sd : tds.scoreDocs) {
Document doc = indexSearcher.doc(sd.doc);
ArticleEntity articleEntity = new ArticleEntity();
Integer id = Integer.parseInt(doc.get("id"));
//获取标题的最佳摘要
String titleBestFragment = highlighter.getBestFragment(analyzer, "title", doc.get("title"));
//获取文章内容的最佳摘要
String contentBestFragment = highlighter.getBestFragment(analyzer, "content", doc.get("content"));
articleEntity.setId(id);
articleEntity.setTitle(titleBestFragment);
articleEntity.setContent(contentBestFragment);
searchList.add(articleEntity);
}
pageData.setCurrentPage(page);
pageData.setResult(searchList);
return pageData;
} catch (Exception e) {
e.printStackTrace();
throw new RuntimeException("全文檢索出错:" + e.getMessage());
} finally {
if (indexReader != null) {
try {
indexReader.close();
} catch (IOException e) {
e.printStackTrace();
}
}
if (directory != null) {
try {
directory.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}
最后是删除索引,根据唯一标识id删除即可,代码如下:
@Override
public void delete(ArticleEntity entity) {
dao.delete(entity);
//同步删除索引
deleteIndex(entity);
}
private void deleteIndex(ArticleEntity entity) {
//删除全文检索
IndexWriter indexWriter = null;
Directory directory = null;
try (Analyzer analyzer = new IKAnalyzer()) {
directory = FSDirectory.open(Paths.get(config.getIndexLibrary()));
IndexWriterConfig writerConfig = new IndexWriterConfig(analyzer);
indexWriter = new IndexWriter(directory, writerConfig);
//根据id字段进行删除
indexWriter.deleteDocuments(new Term("id", String.valueOf(entity.getId())));
} catch (Exception e) {
e.printStackTrace();
throw new RuntimeException("删除索引库出错:" + e.getMessage());
} finally {
if (indexWriter != null) {
try {
indexWriter.close();
} catch (IOException e) {
e.printStackTrace();
}
}
if (directory != null) {
try {
directory.close();
} catch (IOException e) {
e.printStackTrace();
}
}
}
}
至此,Lucene的后台增删查改功能开发完毕!
3、利用swagger测试
接下来我们利用swagger对功能进行测试,测试之前我们把controller层增删查改方法的 @LoginRequired 注解去掉(@LoginRequired是代码生成器最新版添加的注解,可以控制方法必须登录才可以调用),这样可以不必登录,打开swagger,添加一条数据,如下:
如上,数据添加成功,数据库数据添加成功,Lucene索引文件夹也生成了相关索引文件,如下:
接下里我们测一下全文检索功能,如下:
删除功能也可正常使用并同步删除索引,此处就不截图了。这样一来,后台api测试完毕,符合预期效果,接下来进入前台实现阶段。
4、前台实现
前台实现没有什么好说的,就是跟后端对接口进行交互,前端真是我的硬伤,我根据代码生成器生成的列表页做了调整,最终实现效果如下:
前台代码就不贴了,没有太大意义,毕竟有了后台的数据返回,前台有n多种展示方式,大家根据自己的习惯去对接口就好了,完整的前后台代码以及sql文件等可于文末获取。
结语
本篇文章我们利用Lucene自己实现了一个非常轻量的搜索引擎,其实我们可以利用反射把它做成一个通用的查询框架,这样无论实体的属性名称怎么变,都可以灵活应对。
全文检索在Java开发领域是一个重要的知识点,需要我们深入理解和掌握,希望通过本篇文章可以让你对Lucene有一个更加全面的认识,代码生成器不出意外本月会更新一版,我们下次更新,再见啦!
附:关注公众号 螺旋编程极客 获取更多精彩内容,我们一起进步,一起成长,回复 1024 可获取本篇文章的项目源码等资料,期待您的关注!