【详解】Solr配置中文分词IKAnalyzer和拼音分词pinyinAnalyzer

目录

Solr配置中文分词IKAnalyzer和拼音分词pinyinAnalyzer

1. 环境准备

2. 安装 IKAnalyzer

2.1 下载 IKAnalyzer

2.2 配置 Solr

3. 安装 pinyinAnalyzer

3.1 下载 pinyinAnalyzer

3.2 配置 Solr

4. 结合使用 IKAnalyzer 和 pinyinAnalyzer

1. 配置IKAnalyzer

solrconfig.xml

schema.xml

2. 配置PinyinAnalyzer

solrconfig.xml

schema.xml

3. 重启Solr

4. 测试

1. IKAnalyzer 配置

下载和安装 IKAnalyzer

配置 schema.xml

2. pinyinAnalyzer 配置

下载和安装 pinyinAnalyzer

配置 schema.xml

重启 Solr

Solr配置中文分词IKAnalyzer和拼音分词pinyinAnalyzer

在处理中文搜索时，合适的分词器选择对于提高搜索质量和用户体验至关重要。Apache Solr 是一个高性能的全文搜索引擎服务器，支持多种语言的文本处理，包括中文。本文将详细介绍如何在 Solr 中配置两个常用的中文分词器：IKAnalyzer 和 pinyinAnalyzer。

1. 环境准备

• Solr 版本：本文以 Solr 8.x 为例。
• Java 版本：确保安装了 JDK 8 或更高版本。
• 操作系统：本文示例基于 Linux 操作系统，但配置过程在 Windows 上也基本相同。

2. 安装 IKAnalyzer

2.1 下载 IKAnalyzer

首先，需要从 ​​GitHub​​ 或其他可信源下载最新版本的 ​​IKAnalyzer​​ 相关 JAR 包。

2.2 配置 Solr

1. 复制 JAR 文件： 将下载的IKAnalyzerJAR 文件复制到 Solr 核心的lib目录下。例如，如果你的核心名为mycore，路径可能是solr-8.x.x/server/solr/mycore/lib/。
2. 修改 schema.xml： 打开solr-8.x.x/server/solr/mycore/conf/schema.xml文件，添加以下内容：

< fieldType name="text_ik" class="solr.TextField"> <analyzer type="index"> <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="false"/> </analyzer> <analyzer type="query"> <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true"/> </analyzer> </fieldType>

1. 重启 Solr： 修改完配置文件后，重启 Solr 服务以使更改生效。
2. 测试分词效果： 使用 Solr 的分析页面（http://localhost:8983/solr/mycore/analysis）来测试text_ik字段类型的分词效果。

3. 安装 pinyinAnalyzer

3.1 下载 pinyinAnalyzer

同样，从 ​​GitHub​​ 或其他可信源下载 ​​pinyin4j​​ 的 JAR 包。

3.2 配置 Solr

1. 复制 JAR 文件： 将下载的pinyin4jJAR 文件复制到 Solr 核心的lib目录下。
2. 修改 schema.xml： 打开solr-8.x.x/server/solr/mycore/conf/schema.xml文件，添加以下内容：

< fieldType name="text_pinyin" class="solr.TextField"> <analyzer> <tokenizer class="solr.StandardTokenizerFactory"/> <filter class="com.chenlb.mmseg4j.solr.MMsegTokenizerFactory" mode="complex"/> <filter class="com.github.benmanes.caffeine.cache.SolrPinyinFilterFactory" keepFirstPinyin="false" keepFullPinyin="true" keepNonePinyinWord="true" keepOriginalWord="true" nonePinyinWordReplacement="" /> </analyzer> </fieldType>

1. 重启 Solr： 修改完配置文件后，重启 Solr 服务以使更改生效。
2. 测试分词效果： 使用 Solr 的分析页面（http://localhost:8983/solr/mycore/analysis）来测试text_pinyin字段类型的分词效果。

4. 结合使用 IKAnalyzer 和 pinyinAnalyzer

为了同时利用 IKAnalyzer 的分词能力和 pinyinAnalyzer 的拼音转换功能，可以在 ​​schema.xml​​ 中定义一个新的字段类型，结合两者的优势：

<fieldType name="text_ik_pinyin" class="solr.TextField"> <analyzer type="index"> <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="false"/> <filter class="com.github.benmanes.caffeine.cache.SolrPinyinFilterFactory" keepFirstPinyin="false" keepFullPinyin="true" keepNonePinyinWord="true" keepOriginalWord="true" nonePinyinWordReplacement="" /> </analyzer> <analyzer type="query"> <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true"/> <filter class="com.github.benmanes.caffeine.cache.SolrPinyinFilterFactory" keepFirstPinyin="false" keepFullPinyin="true" keepNonePinyinWord="true" keepOriginalWord="true" nonePinyinWordReplacement="" /> </analyzer> </fieldType>

在使用Apache Solr进行全文搜索时，为了支持中文分词和拼音分词，通常会配置​​IKAnalyzer​​​和​​PinyinAnalyzer​​。以下是如何在Solr中配置这两个分析器的示例代码。

1. 配置IKAnalyzer

首先，确保你已经下载了​​IKAnalyzer​​的jar包，并将其放置在Solr的​​lib​​目录下。然后，在​​solrconfig.xml​​文件中添加对​​IKAnalyzer​​的支持。

solrconfig.xml

<lib dir="${solr.install.dir:../../../..}/dist/" regex="solr-analysis-extras-\d.*\.jar" /> <lib dir="${solr.install.dir:../../../..}/contrib/analysis-extras/lib/" regex=".*\.jar" /> <requestHandler name="/update" class="solr.UpdateRequestHandler"> <lst name="defaults"> <str name="update.chain">ik</str> </lst> </requestHandler> <searchComponent name="query" class="solr.QueryComponent"> <lst name="defaults"> <str name="df">content</str> </lst> </searchComponent> <schemaFactory class="ManagedIndexSchemaFactory"> <lst name="managedSchemaResourceName"> <str name="name">managed-schema</str> </lst> </schemaFactory> <updateProcessor class="org.apache.solr.update.processor.AnalysisErrorHandlingUpdateProcessorFactory" name="ik"> <lst name="defaults"> <str name="errorHandler">ignore</str> </lst> <analyzer type="index"> <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="false"/> </analyzer> <analyzer type="query"> <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true"/> </analyzer> </updateProcessor>

schema.xml

在​​schema.xml​​文件中定义字段类型和字段，使用​​IKAnalyzer​​进行分词。

<fieldType name="text_ik" class="solr.TextField" positionIncrementGap="100"> <analyzer type="index"> <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="false"/> </analyzer> <analyzer type="query"> <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true"/> </analyzer> </fieldType> <field name="id" type="string" indexed="true" stored="true" required="true" multiValued="false" /> <field name="content" type="text_ik" indexed="true" stored="true" multiValued="false" />

2. 配置PinyinAnalyzer

同样，确保你已经下载了​​PinyinAnalyzer​​的jar包，并将其放置在Solr的​​lib​​目录下。然后，在​​solrconfig.xml​​文件中添加对​​PinyinAnalyzer​​的支持。

solrconfig.xml

<lib dir="${solr.install.dir:../../../..}/dist/" regex="solr-analysis-extras-\d.*\.jar" /> <lib dir="${solr.install.dir:../../../..}/contrib/analysis-extras/lib/" regex=".*\.jar" /> <requestHandler name="/update" class="solr.UpdateRequestHandler"> <lst name="defaults"> <str name="update.chain">pinyin</str> </lst> </requestHandler> <searchComponent name="query" class="solr.QueryComponent"> <lst name="defaults"> <str name="df">content_pinyin</str> </lst> </searchComponent> <schemaFactory class="ManagedIndexSchemaFactory"> <lst name="managedSchemaResourceName"> <str name="name">managed-schema</str> </lst> </schemaFactory> <updateProcessor class="org.apache.solr.update.processor.AnalysisErrorHandlingUpdateProcessorFactory" name="pinyin"> <lst name="defaults"> <str name="errorHandler">ignore</str> </lst> <analyzer type="index"> <tokenizer class="org.apache.lucene.analysis.pinyin.PinyinTokenizerFactory" keepFirstPinyin="true" keepFullPinyin="true" keepNonePinyin="true" keepOriginal="true" limitFirstPinyinLength="8" /> </analyzer> <analyzer type="query"> <tokenizer class="org.apache.lucene.analysis.pinyin.PinyinTokenizerFactory" keepFirstPinyin="true" keepFullPinyin="true" keepNonePinyin="true" keepOriginal="true" limitFirstPinyinLength="8" /> </analyzer> </updateProcessor>

schema.xml

在​​schema.xml​​文件中定义字段类型和字段，使用​​PinyinAnalyzer​​进行分词。

<fieldType name="text_pinyin" class="solr.TextField" positionIncrementGap="100"> <analyzer type="index"> <tokenizer class="org.apache.lucene.analysis.pinyin.PinyinTokenizerFactory" keepFirstPinyin="true" keepFullPinyin="true" keepNonePinyin="true" keepOriginal="true" limitFirstPinyinLength="8" /> </analyzer> <analyzer type="query"> <tokenizer class="org.apache.lucene.analysis.pinyin.PinyinTokenizerFactory" keepFirstPinyin="true" keepFullPinyin="true" keepNonePinyin="true" keepOriginal="true" limitFirstPinyinLength="8" /> </analyzer> </fieldType> <field name="id" type="string" indexed="true" stored="true" required="true" multiValued="false" /> <field name="content_pinyin" type="text_pinyin" indexed="true" stored="true" multiValued="false" />

3. 重启Solr

完成上述配置后，重启Solr服务以使配置生效。

4. 测试

你可以通过Solr的管理界面或API来测试分词效果。例如，使用以下命令索引一些文档：

curl 'http://localhost:8983/solr/your_core_name/update?commit=true' -H 'Content-type:application/json' -d ' [ {"id": "1", "content": "中文分词测试"}, {"id": "2", "content_pinyin": "zhong wen fen ci ce shi"} ]'

然后查询这些文档，验证分词是否按预期工作：

curl 'http://localhost:8983/solr/your_core_name/select?q=content:中文分词' curl 'http://localhost:8983/solr/your_core_name/select?q=content_pinyin:zhong wen'

在处理中文搜索时，通常需要使用专门的中文分词器来提高搜索的准确性和效率。​​IKAnalyzer​​​ 和 ​​pinyinAnalyzer​​ 是两个常用的中文分词器。

1. IKAnalyzer 配置

​​IKAnalyzer​​ 是一个开源的、基于Java的中文分词器，它提供了标准分词和智能分词两种模式。以下是如何在 Solr 中配置 ​​IKAnalyzer​​ 的步骤：

下载和安装 IKAnalyzer

1. 下载 IKAnalyzer：

• 访问 ​​IKAnalyzer 官方 GitHub 仓库​​ 或其他可靠的源。
• 下载 ​​ik-analyzer-xxx.jar​​ 文件。

1. 将 IKAnalyzer 添加到 Solr：

• 将下载的 ​​ik-analyzer-xxx.jar​​ 文件复制到 Solr 的 ​​lib​​ 目录中，例如：​​$SOLR_HOME/server/solr-webapp/webapp/WEB-INF/lib/​​。

配置 schema.xml

1. 编辑​schema.xml​​ 文件：

• 打开 ​​schema.xml​​ 文件，通常位于 ​​$SOLR_HOME/server/solr/configsets/_default/conf/​​ 目录下。
• 添加 ​​IKAnalyzer​​ 的定义：

<fieldType name="text_ik" class="solr.TextField"> <analyzer type="index"> <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="false"/> </analyzer> <analyzer type="query"> <tokenizer class="org.wltea.analyzer.lucene.IKTokenizerFactory" useSmart="true"/> </analyzer> </fieldType>

• ​useSmart​​ 参数用于控制分词模式：

• ​​false​​ 表示标准分词模式。
• ​​true​​ 表示智能分词模式。

1. 应用新的字段类型：

• 在 ​​schema.xml​​ 中定义使用 ​​text_ik​​ 字段类型的字段，例如：

<field name="content" type="text_ik" indexed="true" stored="true"/>

2. pinyinAnalyzer 配置

​​pinyinAnalyzer​​ 是一个用于将中文转换为拼音的分词器，常用于拼音搜索和排序。以下是如何在 Solr 中配置 ​​pinyinAnalyzer​​ 的步骤：

下载和安装 pinyinAnalyzer

1. 下载 pinyinAnalyzer：

• 访问 ​​pinyin4j 官方网站​​ 或其他可靠的源。
• 下载 ​​pinyin4j-xxx.jar​​ 文件。

1. 将 pinyinAnalyzer 添加到 Solr：

• 将下载的 ​​pinyin4j-xxx.jar​​ 文件复制到 Solr 的 ​​lib​​ 目录中，例如：​​$SOLR_HOME/server/solr-webapp/webapp/WEB-INF/lib/​​。

配置 schema.xml

1. 编辑​schema.xml​​ 文件：

• 打开 ​​schema.xml​​ 文件，通常位于 ​​$SOLR_HOME/server/solr/configsets/_default/conf/​​ 目录下。
• 添加 ​​pinyinAnalyzer​​ 的定义：

<fieldType name="text_pinyin" class="solr.TextField"> <analyzer> <tokenizer class="solr.StandardTokenizerFactory"/> <filter class="solr.LowerCaseFilterFactory"/> <filter class="com.github.lzj960515.pinyin4solr.PinyinFilterFactory" keepFirstPinyin="true" keepFullPinyin="true" keepNonePinyinWord="true" keepOriginalWord="true" keepSeparateFirstLetter="true" keepJointFirstLetter="true"/> </analyzer> </fieldType>

• ​​keepFirstPinyin​​：是否保留每个汉字的首拼音。
• ​​keepFullPinyin​​：是否保留每个汉字的全拼音。
• ​​keepNonePinyinWord​​：是否保留非拼音词。
• ​​keepOriginalWord​​：是否保留原始词。
• ​​keepSeparateFirstLetter​​：是否保留每个汉字的首字母（分开）。
• ​​keepJointFirstLetter​​：是否保留每个汉字的首字母（连在一起）。

1. 应用新的字段类型：

• 在 ​​schema.xml​​ 中定义使用 ​​text_pinyin​​ 字段类型的字段，例如：

<field name="name" type="text_pinyin" indexed="true" stored="true"/>

重启 Solr

完成上述配置后，重启 Solr 以使配置生效：

$SOLR_HOME/bin/solr restart

通过以上步骤，你可以在 Solr 中成功配置和使用 ​​IKAnalyzer​​ 和 ​​pinyinAnalyzer​​，从而提高中文搜索的准确性和效率。