news 2026/4/23 1:03:24

SQL必会必知整理-16-全文本搜索

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
SQL必会必知整理-16-全文本搜索
16.1 理解全文本搜索
  • 并非所有引擎都支持全文本搜索,MySQL支持几种基本的数据库引擎。并非所有的引擎都支持本书所描述的全文本搜索。两个最常使用的引擎为MyISAM和InnoDB,前者支持全文本搜索,而后者不支持。这就是为什么虽然本书中创建的多数样例表使用 InnoDB ,而有一个样例表(productnotes表)却使用MyISAM的原因。如果你的应用中需要全文本搜索功能,应该记住这一点。

  • 前文介绍了LIKE关键字,它利用通配操作符匹配文本(和部分文本)。使用LIKE,能够查找包含特殊值或部分值的行(不管这些值位于列内什么位置)。用基于文本的搜索作为正则表达式匹配列值的更进一步的介绍。使用正则表达式,可以编写查找所需行的非常复杂的匹配模式。

  • 虽然这些搜索机制非常有用,但存在几个重要的限制:

    • 性能——通配符和正则表达式匹配通常要求MySQL尝试匹配表中所有行(而且这些搜索极少使用表索引)。因此,由于被搜索行数不断增加,这些搜索可能非常耗时。

    • 明确控制——使用通配符和正则表达式匹配,很难(而且并不总是能)明确地控制匹配什么和不匹配什么。例如,指定一个词必须匹配,一个词必须不匹配,而一个词仅在第一个词确实匹配的情况下才可以匹配或者才可以不匹配。

    • 智能化的结果——虽然基于通配符和正则表达式的搜索提供了非常灵活的搜索,但它们都不能提供一种智能化的选择结果的方法。例如,一个特殊词的搜索将会返回包含该词的所有行,而不区分包含单个匹配的行和包含多个匹配的行(按照可能是更好的匹配来排列它们)。类似,一个特殊词的搜索将不会找出不包含该词但包含其他相关词的行。

  • 所有这些限制以及更多的限制都可以用全文本搜索来解决。在使用全文本搜索时,MySQL不需要分别查看每个行,不需要分别分析和处理每个词。MySQL创建指定列中各词的一个索引,搜索可以针对这些词进行。这样,MySQL可以快速有效地决定哪些词匹配(哪些行包含它们),哪些词不匹配,它们匹配的频率,等等。

16.2 使用全文本搜索
  • 为了进行全文本搜索,必须索引被搜索的列,而且要随着数据的改变不断地重新索引。在对表列进行适当设计后,MySQL会自动进行所有的索引和重新索引。

  • 在索引之后,SELECT可与Match()和Against()一起使用以实际执行搜索。

16.2.1 启用全文本搜索支持
  • 一般在创建表时启用全文本搜索。CREATE TABLE语句接受FULLTEXT子句,它给出被索引列的一个逗号分隔的列表。

CREATE TABLE productnotes ( note_id int NOT NULL AUTO_INCREMENT, prod_id char(10) NOT NULL, note_date datetinme NOT NULL, note_text text NUll, PRIMARY KEY(note_id), FULLTEXT(note_text) ) ENGINE = MyISAM;
  • 这条CREATE TABLE语句定义表productnotes并列出它所包含的列。这些列中有一个名为note_text的列,为了进行全文本搜索,MySQL根据子句FULLTEXT(note_text)的指示对它进行索引。这里的FULLTEXT索引单个列,如果需要也可以指定多个列。

  • 在定义之后,MySQL自动维护该索引。在增加、更新或删除行时,索引随之自动更新。

  • 可以在创建表时指定FULLTEXT,或者在稍后指定(在这种情况下所有已有数据必须立即索引)。

  • 更新索引要花时间,虽然不是很多,但毕竟要花时间。如果正在导入数据到一个新表,此时不应该启用FULLTEXT索引。应该首先导入所有数据,然后再修改表,定义FULLTEXT。这样有助于更快地导入数据(而且使索引数据的总时间小于在导入每行时分别进行索引所需的总时间)。

16.2.2 进行全文本搜索
  • 在索引之后,使用两个函数Match()和Against()执行全文本搜索,其中Match()指定被搜索的列,Against()指定要使用的搜索表达式。

SELECT note_text FROM productnotes WHERE MATCH(note_text) AGAINST('rabbit');
  • 此SELECT语句检索单个列note_text。由于WHERE子句,一个全文本搜索被执行。Match(note_text)指示MySQL针对指定的列进行搜索,Against('rabbit')指定词rabbit作为搜索文本。由于有两行包含词rabbit,这两个行被返回。

  • 传递给 Match() 的值必须与FULLTEXT()定义中的相同。如果指定多个列,则必须列出它们(而且次序正确)。

  • 除非使用BINARY方式(本章中没有介绍),否则全文本搜索不区分大小写。

  • 全文本搜索的一个重要部分就是对结果排序。具有较高等级的行先返回(因为这些行很可能是你真正想要的行)。

SELECT note_text,MATCH(note_text) AGAINST('rabbit') AS ra FROM productnotes;
  • 这里,在SELECT而不是WHERE子句中使用Match()和Against()。这使所有行都被返回(因为没有WHERE子句)。Match()和Against()用来建立一个计算列(别名为rank),此列包含全文本搜索计算出的等级值。等级由MySQL根据行中词的数目、唯一词的数目、整个索引中词的总数以及包含该词的行的数目计算出来。正如所见,不包含词rabbit的行等级为0(因此不被前一例子中的WHERE子句选择)。确实包含词rabbit的两个行每行都有一个等级值,文本中词靠前的行的等级值比词靠后的行的等级值高。

  • 这个例子有助于说明全文本搜索如何排除行(排除那些等级为0的行),如何排序结果(按等级以降序排序)。

  • 排序多个搜索项:如果指定多个搜索项,则包含多数匹配词的那些行将具有比包含较少词(或仅有一个匹配)的那些行高的等级值。

16.2.3 使用查询拓展
  • 查询扩展用来设法放宽所返回的全文本搜索结果的范围。

  • 你想找出所有提到anvils的注释。只有一个注释包含词anvils,但你还想找出可能与你的搜索有关的所有其他行,即使它们不包含词anvils。

  • 在使用查询扩展时,MySQL对数据和索引进行两遍扫描来完成搜索:

    • 首先,进行一个基本的全文本搜索,找出与搜索条件匹配的所有行;

    • 其次,MySQL检查这些匹配行并选择所有有用的词(我们将会简要地解释MySQL如何断定什么有用,什么无用)。

    • 再其次,MySQL再次进行全文本搜索,这次不仅使用原来的条件,而且还使用所有有用的词。

SELECT note_text FROM productnotes WHERE MATCH(note_text) AGAINST('anvils' WITH QUERY EXPANSION);
  • 第一行包含词anvils,因此等级最高。第二行与anvils无关,但因为它包含第一行中的两个词(customer和recommend),所以也被检索出来。第3行也包含这两个相同的词,但它们在文本中的位置更靠后且分开得更远,因此也包含这一行,但等级为第三。第三行确实也没有涉及anvils(按它们的产品名)。正如所见,查询扩展极大地增加了返回的行数,但这样做也增加了你实际上并不想要的行的数目。

  • 表中的行越多(这些行中的文本就越多),使用查询扩展返回的结果越好。

16.2.4 布尔文本搜索
  • MySQL支持全文本搜索的另外一种形式,称为布尔方式(booleanmode)。以布尔方式,可以提供关于如下内容的细节:

    • 要匹配的词;

    • 要排斥的词(如果某行包含这个词,则不返回该行,即使它包含其他指定的词也是如此);

    • 排列提示(指定某些词比其他词更重要,更重要的词等级更高);

    • 表达式分组;

    • 另外一些内容。

  • 布尔方式不同于迄今为止使用的全文本搜索语法的地方在于,即使没有定义FULLTEXT索引,也可以使用它。但这是一种非常缓慢的操作(其性能将随着数据量的增加而降低)。

SELECT note_text FROM productnotes WHERE MATCH(note_text) AGAINST('heavy -rope*' IN BOOLEAN MODE);
  • -rope*明确地指示MySQL排除包含rope*(任何以rope开始的词,包括ropes)的行,这就是为什么上一个例子中的第一行被排除的原因。

布尔操作符

说明

+

包含,词必须存在

-

排除,词必须不出现

>

包含,而且增加等级值

<

包含,且减少等级值

( )

把词组成子表达式(允许这些子表达式作为一个组被包含、

排除、排列等)

~

取消一个词的排序值

*

词尾的通配符

""

定义一个短语(与单个词的列表不一样,它匹配整个短语以

便包含或排除这个短语)

SELECT note_text FROM productnotes WHERE MATCH(note_text) AGAINST('+rabbit +bait' IN BOOLEAN MODE);
  • 这个搜索匹配包含词rabbit和bait的行。

SELECT note_text FROM productnotes WHERE MATCH(note_text) AGAINST('rabbit bait' IN BOOLEAN MODE);
  • 没有指定操作符,这个搜索匹配包含rabbit和bait中的至少一个词的行。

SELECT note_text FROM productnotes WHERE MATCH(note_text) AGAINST('"rabbit bait"' IN BOOLEAN MODE);
  • 这个搜索匹配短语rabbit bait而不是匹配两个词rabbit和bait。

SELECT note_text FROM productnotes WHERE MATCH(note_text) AGAINST('>rabbit <carrot' IN BOOLEAN MODE);
  • 匹配rabbit和carrot,增加前者的等级,降低后者的等级。

SELECT note_text FROM productnotes WHERE MATCH(note_text) AGAINST('+safe +(<combination)' IN BOOLEAN MODE);
  • 这个搜索匹配词safe和combination,降低后者的等级。

  • 排列而不排序 在布尔方式中,不按等级值降序排序返回的行。

16.2.5 全文本搜索的使用说明
  • 关于全文本搜索的某些重要的说明:

    • 在索引全文本数据时,短词被忽略且从索引中排除。短词定义为那些具有3个或3个以下字符的词(如果需要,这个数目可以更改)。

    • MySQL带有一个内建的非用词(stopword)列表,这些词在索引全文本数据时总是被忽略。如果需要,可以覆盖这个列表(请参阅MySQL文档以了解如何完成此工作)。

    • 许多词出现的频率很高,搜索它们没有用处(返回太多的结果)。因此,MySQL规定了一条50%规则,如果一个词出现在50%以上的行中,则将它作为一个非用词忽略。50%规则不用于IN BOOLEANMODE。

    • 如果表中的行数少于3行,则全文本搜索不返回结果(因为每个词或者不出现,或者至少出现在50%的行中)。

    • 忽略词中的单引号。例如,don't索引为dont。

    • 不具有词分隔符(包括日语和汉语)的语言不能恰当地返回全文本搜索结果。

    • 如前所述,仅在MyISAM数据库引擎中支持全文本搜索。

  • 没有邻近操作符 邻近搜索是许多全文本搜索支持的一个特性,它能搜索相邻的词(在相同的句子中、相同的段落中或者在特定数目的词的部分中,等等)。MySQL全文本搜索现在还不支持邻近操作符,不过未来的版本有支持这种操作符的计划。

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/4/20 13:21:20

2.12 续保预测模型构建:从特征工程到模型训练,完整实战流程

2.12 续保预测模型构建:从特征工程到模型训练,完整实战流程 引言 本文继续保险续保预测案例,从特征工程到模型训练,提供完整的实战流程。这是数据分析项目的核心环节,将数据转化为可用的预测模型。 一、特征工程 1.1 特征选择 # 特征工程 from sklearn.preprocessing…

作者头像 李华
网站建设 2026/4/20 12:45:42

华为OD机考双机位C卷 - MVP争夺战 (Java Python JS C/C++ GO )

最新华为上机考试 真题目录&#xff1a;点击查看目录 华为OD面试真题精选&#xff1a;点击立即查看 华为OD机考双机位C卷 - MVP争夺战 题目描述 在星球争霸篮球赛对抗赛中&#xff0c;最大的宇宙战队希望每个人都能拿到 MVP&#xff0c;MVP 的条件是单场最高分得分获得者。…

作者头像 李华
网站建设 2026/4/16 19:07:26

DecEx-RAG:过程监督+智能剪枝,让大模型检索推理快6倍

Agentic RAG 是当前 LLM 应用中一个非常火热的方向。与传统 RAG 不同它让模型在推理过程中自主决定要不要检索、什么时候检索。这样就相当于给模型一套工具让它自己判断该用哪个。 目前训练 Agentic RAG 的主流做法是结果监督强化学习&#xff1a;只在推理结束后给一个标量奖励…

作者头像 李华
网站建设 2026/4/21 21:01:18

1.44 NoteBookLM使用指南:Google的AI笔记工具,让文档变成智能助手

1.44 NoteBookLM使用指南:Google的AI笔记工具,让文档变成智能助手 引言 NoteBookLM是Google推出的AI笔记工具,可以将文档转换为智能助手。通过上传文档,NoteBookLM可以理解文档内容,回答相关问题,生成摘要和洞察。本文将详细介绍NoteBookLM的使用方法和最佳实践。 一、…

作者头像 李华