专业网站建设品牌，十四年专业建站经验，服务6000+客户--广州京杭网络
免费热线：400-683-0016      微信咨询  |  联系我们

Solr系列五：solr搜索详解（solr搜索流程介绍、查询语法及解析器详解）

当前位置：网站建设 > 技术支持
资料来源：网络整理       时间：2023/2/14 0:34:52       共计：3598 浏览

一、solr搜索流程介绍

1. 前面我们已经学习过Lucene搜索的流程，让我们再来回顾一下

流程说明：

首先获取用户输入的查询串，使用查询解析器QueryParser解析查询串生成查询对象Query，使用所有搜索器IndexSearcher执行查询对象Query得到TopDocs，遍历TopDocs得到文档Document

2. Solr搜索的工作流程：

流程说明：

用户输入查询字符串，根据用户的请求类型qt（查询为/select）选择请求处理器RequestHandler，根据用户输入的参数defType来选择一个查询解析器解析用户的查询串（默认使用RequestHander中配置的默认查询解析器），查询解析器解析完以后根据用户输入的参数qf指定的字段进行搜索（默认是所有索引字段），查询到结果以后做一些特殊的处理（fq，sort，start，rows，wt）以后使用响应处理器ResponseWriter返回给用户

3. 查看内核的solrconfig.xml文件，了解搜索的请求处理器配置 

	
    
		
		
  1. 
			<requestHandler name="/select" class="solr.SearchHandler">
		
    2. 

		
  2. 
			 <lst name="defaults">
		
    3. 

		
  3. 
			 <str name="echoParams">explicit</str>
		
    4. 

		
  4. 
			 <int name="rows">10</int>
		
    5. 

		
  5. 
			 <bool name="preferLocalShards">false</bool>
		
    6. 

		
  6. 
			 </lst>
		
    7. 

		
  7. 
			</requestHandler>
		
    8. 

	


	
    
		
		
  1. 
			 <requestHandler name="/query" class="solr.SearchHandler">
		
    2. 

		
  2. 
			 <lst name="defaults">
		
    3. 

		
  3. 
			 <str name="echoParams">explicit</str>
		
    4. 

		
  4. 
			 <str name="wt">json</str>
		
    5. 

		
  5. 
			 <str name="indent">true</str>
		
    6. 

		
  6. 
			 <str name="df">text</str>
		
    7. 

		
  7. 
			 </lst>
		
    8. 

		
  8. 
			 </requestHandler>
		
    9. 

	


	
    
		
		
  1. 
			 <requestHandler name="/browse" class="solr.SearchHandler">
		
    2. 

		
  2. 
			 <lst name="defaults">
		
    3. 

		
  3. 
			 <str name="echoParams">explicit</str>
		
    4. 

		
  4. 
			 
		
    5. 

		
  5. 
			 <!-- VelocityResponseWriter settings -->
		
    6. 

		
  6. 
			 <str name="wt">velocity</str>
		
    7. 

		
  7. 
			 <str name="v.template">browse</str>
		
    8. 

		
  8. 
			 <str name="v.layout">layout</str>
		
    9. 

		
  9. 
			 <str name="title">Solritas</str>
		
    10. 

		
  10. 
			 
		
    11. 

		
  11. 
			 <!-- Query settings -->
		
    12. 

		
  12. 
			 <str name="defType">edismax</str>
		
    13. 

		
  13. 
			 <str name="qf">
		
    14. 

		
  14. 
			 text^0.5 features^1.0 name^1.2 sku^1.5 id^10.0 manu^1.1 cat^1.4
		
    15. 

		
  15. 
			 title^10.0 description^5.0 keywords^5.0 author^2.0 resourcename^1.0
		
    16. 

		
  16. 
			 </str>
		
    17. 

		
  17. 
			 <str name="mm">100%</str>
		
    18. 

		
  18. 
			 <str name="q.alt">*:*</str>
		
    19. 

		
  19. 
			 <str name="rows">10</str>
		
    20. 

		
  20. 
			 <str name="fl">*,score</str>
		
    21. 

		
  21. 
			 
		
    22. 

		
  22. 
			 <str name="mlt.qf">
		
    23. 

		
  23. 
			 text^0.5 features^1.0 name^1.2 sku^1.5 id^10.0 manu^1.1 cat^1.4
		
    24. 

		
  24. 
			 title^10.0 description^5.0 keywords^5.0 author^2.0 resourcename^1.0
		
    25. 

		
  25. 
			 </str>
		
    26. 

		
  26. 
			 <str name="mlt.fl">text,features,name,sku,id,manu,cat,title,description,keywords,author,resourcename</str>
		
    27. 

		
  27. 
			 <int name="mlt.count">3</int>
		
    28. 

		
  28. 
			 
		
    29. 

		
  29. 
			 <!-- Faceting defaults -->
		
    30. 

		
  30. 
			 <str name="facet">on</str>
		
    31. 

		
  31. 
			 <str name="facet.missing">true</str>
		
    32. 

		
  32. 
			 <str name="facet.field">cat</str>
		
    33. 

		
  33. 
			 <str name="facet.field">manu_exact</str>
		
    34. 

		
  34. 
			 <str name="facet.field">content_type</str>
		
    35. 

		
  35. 
			 <str name="facet.field">author_s</str>
		
    36. 

		
  36. 
			 <str name="facet.query">ipod</str>
		
    37. 

		
  37. 
			 <str name="facet.query">GB</str>
		
    38. 

		
  38. 
			 <str name="facet.mincount">1</str>
		
    39. 

		
  39. 
			 <str name="facet.pivot">cat,inStock</str>
		
    40. 

		
  40. 
			 <str name="facet.range.other">after</str>
		
    41. 

		
  41. 
			 <str name="facet.range">price</str>
		
    42. 

		
  42. 
			 <int name="f.price.facet.range.start">0</int>
		
    43. 

		
  43. 
			 <int name="f.price.facet.range.end">600</int>
		
    44. 

		
  44. 
			 <int name="f.price.facet.range.gap">50</int>
		
    45. 

		
  45. 
			 <str name="facet.range">popularity</str>
		
    46. 

		
  46. 
			 <int name="f.popularity.facet.range.start">0</int>
		
    47. 

		
  47. 
			 <int name="f.popularity.facet.range.end">10</int>
		
    48. 

		
  48. 
			 <int name="f.popularity.facet.range.gap">3</int>
		
    49. 

		
  49. 
			 <str name="facet.range">manufacturedate_dt</str>
		
    50. 

		
  50. 
			 <str name="f.manufacturedate_dt.facet.range.start">NOW/YEAR-10YEARS</str>
		
    51. 

		
  51. 
			 <str name="f.manufacturedate_dt.facet.range.end">NOW</str>
		
    52. 

		
  52. 
			 <str name="f.manufacturedate_dt.facet.range.gap">+1YEAR</str>
		
    53. 

		
  53. 
			 <str name="f.manufacturedate_dt.facet.range.other">before</str>
		
    54. 

		
  54. 
			 <str name="f.manufacturedate_dt.facet.range.other">after</str>
		
    55. 

		
  55. 
			 
		
    56. 

		
  56. 
			 <!-- Highlighting defaults -->
		
    57. 

		
  57. 
			 <str name="hl">on</str>
		
    58. 

		
  58. 
			 <str name="hl.fl">content features title name</str>
		
    59. 

		
  59. 
			 <str name="hl.preserveMulti">true</str>
		
    60. 

		
  60. 
			 <str name="hl.encoder">html</str>
		
    61. 

		
  61. 
			 <str name="hl.simple.pre">&lt;b&gt;</str>
		
    62. 

		
  62. 
			 <str name="hl.simple.post">&lt;/b&gt;</str>
		
    63. 

		
  63. 
			 <str name="f.title.hl.fragsize">0</str>
		
    64. 

		
  64. 
			 <str name="f.title.hl.alternateField">title</str>
		
    65. 

		
  65. 
			 <str name="f.name.hl.fragsize">0</str>
		
    66. 

		
  66. 
			 <str name="f.name.hl.alternateField">name</str>
		
    67. 

		
  67. 
			 <str name="f.content.hl.snippets">3</str>
		
    68. 

		
  68. 
			 <str name="f.content.hl.fragsize">200</str>
		
    69. 

		
  69. 
			 <str name="f.content.hl.alternateField">content</str>
		
    70. 

		
  70. 
			 <str name="f.content.hl.maxAlternateFieldLength">750</str>
		
    71. 

		
  71. 
			 
		
    72. 

		
  72. 
			 <!-- Spell checking defaults -->
		
    73. 

		
  73. 
			 <str name="spellcheck">on</str>
		
    74. 

		
  74. 
			 <str name="spellcheck.extendedResults">false</str>
		
    75. 

		
  75. 
			 <str name="spellcheck.count">5</str>
		
    76. 

		
  76. 
			 <str name="spellcheck.alternativeTermCount">2</str>
		
    77. 

		
  77. 
			 <str name="spellcheck.maxResultsForSuggest">5</str>
		
    78. 

		
  78. 
			 <str name="spellcheck.collate">true</str>
		
    79. 

		
  79. 
			 <str name="spellcheck.collateExtendedResults">true</str>
		
    80. 

		
  80. 
			 <str name="spellcheck.maxCollationTries">5</str>
		
    81. 

		
  81. 
			 <str name="spellcheck.maxCollations">3</str>
		
    82. 

		
  82. 
			 </lst>
		
    83. 

		
  83. 
			 
		
    84. 

		
  84. 
			 <!-- append spellchecking to our list of components -->
		
    85. 

		
  85. 
			 <arr name="last-components">
		
    86. 

		
  86. 
			 <str>spellcheck</str>
		
    87. 

		
  87. 
			 </arr>
		
    88. 

		
  88. 
			 </requestHandler>
		
    89.

通过查看内核techproducts 内核的solrconfig.xml文件发现/select， /query， /browse三个请求处理器都是使用的solr.SearchHandler这个类来完成搜索的各项工作的，请求处理器里面的各项参数类型介绍：

4. SearchHandler介绍

查询请求在SearcheHandler这个request handler中完成，各个步骤的工作由SearchHandler中组合的组件来完成了（可自定义，在该查询的requesthandler配置元素内配置）。示例，自定义组件组合： 

	
    
		
		
  1. 
			<arr name="components">
		
    2. 

		
  2. 
			 <str>query</str>
		
    3. 

		
  3. 
			 <str>facet</str>
		
    4. 

		
  4. 
			 <str>mlt</str>
		
    5. 

		
  5. 
			 <str>highlight</str>
		
    6. 

		
  6. 
			 <str>debug</str>
		
    7. 

		
  7. 
			 <str>someothercomponent</str>
		
    8. 

		
  8. 
			</arr>
		
    9.

说明： 

	
    
		
		
  1. 
			"query" (usually QueryComponent)
		
    2. 

		
  2. 
			"facet" (usually FacetComponent)
		
    3. 

		
  3. 
			"mlt" (usually MoreLikeThisComponent)
		
    4. 

		
  4. 
			"highlight" (usually HighlightComponent)
		
    5. 

		
  5. 
			"stats" (usually StatsComponent)
		
    6. 

		
  6. 
			"debug" (usually DebugComponent)
		
    7.

还可在主组件组合前、后加入组件： 

	
    
		
		
  1. 
			<arr name="first-components">
		
    2. 

		
  2. 
			 <str>mycomponent</str>
		
    3. 

		
  3. 
			</arr>
		
    4. 

		
  4. 
			 
		
    5. 

		
  5. 
			<arr name="last-components">
		
    6. 

		
  6. 
			 <str>myothercomponent</str>
		
    7. 

		
  7. 
			</arr>
		
    8.

SearchHandler的详细介绍见官方文档：https://wiki.apache.org/solr/SearchHandler

注意：如果你有这样的默认查询参数需要，可在<lst name="defaults"></lst>里面配置

二、查询语法及解析器详解

1. 通用查询参数详解见官方文档

http://lucene.apache.org/solr/guide/7_3/common-query-parameters.html

2. 查询解析器介绍 

	
    
		
		
  1. 
			Standard Query Parser
		
    2. 

		
  2. 
			DisMax Query Parser
		
    3. 

		
  3. 
			Extended DisMax Query parser
		
    4.

默认使用的是 Standard Query Parser 。通过defType参数可指定。

3. Standard Query Parser

solr标准查询解析器。关键优点：它支持一个健壮且相当直观的语法，允许我们创建各种结构的查询。这个我们在学习lucene时已学过。最大的缺点：它不能容忍语法错误。

Standard Query Parser  请求参数：

除了通用参数外，标准查询解析器还支持的参数有： 

	
    
		
		
  1. 
			q：用标准查询语法定义的查询表达式（查询串、主查询），必需。
		
    2. 

		
  2. 
			q.op：指定查询表达式的默认操作， “AND” or “OR”，覆盖默认配置值。
		
    3. 

		
  3. 
			df：指定默认查询字段
		
    4. 

		
  4. 
			sow： Split on whitespace 按空格分割，如果设置为true，则会分别对分割出的文本进行分词处理。默认false。
		
    5.

3.1 Standard Query Parser 响应内容格式

在浏览器输入地址：http://localhost:8983/solr/techproducts/select?q=id:SP2514N&wt=xml

Standard Query Parser  响应内容格式-练习：

1、加上debug=all参数看看返回什么

http://localhost:8983/solr/techproducts/select?q=cat:book&wt=xml&debug=all

说明：加入debug参数后显示在浏览器地址后查询的过程

 2、加上explainOther参数看看返回什么

http://localhost:8983/solr/techproducts/select?q=cat:book&wt=xml&debug=all&explainOther=id:055357342X

3.2 Solr Standard Query Parser 对传统 lucene语法的增强

在范围查询的边界两端都可以用* 

	
    
		
		
  1. 
			field:[* TO 100] finds all field values less than or equal to 100
		
    2. 

		
  2. 
			field:[100 TO *] finds all field values greater than or equal to 100
		
    3. 

		
  3. 
			field:[* TO *] matches all documents with the field
		
    4.

允许纯非的查询（限顶级字节） 

	
    
		
		
  1. 
			-inStock:false finds all field values where inStock is not false
		
    2. 

		
  2. 
			-field:[* TO *] finds all documents without a value for field
		
    3.

支持嵌入solr查询（子查询），切入查询可以使用任意的solr查询解析器 

	
    
		
		
  1. 
			inStock:true OR {!dismax qf='name manu' v='ipod'}
		
    2.

支持特殊的filter(…) 语法来说明某个字句的结果要作为过滤查询进行缓存 

	
    
		
		
  1. 
			q=features:songs OR filter(inStock:true)
		
    2. 

		
  2. 
			q=+manu:Apple +filter(inStock:true)
		
    3. 

		
  3. 
			q=+manu:Apple & fq=inStock:true
		
    4.

如果过滤查询中的某个字句需要独立进行过滤缓存，也可用 

	
    
		
		
  1. 
			q=features:songs & fq=+filter(inStock:true) +filter(price:[* TO 100])
		
    2. 

		
  2. 
			q=manu:Apple & fq=-filter(inStock:true) -filter(price:[* TO 100])
		
    3.

查询中的时间表示语法 

	
    
		
		
  1. 
			createdate:1976-03-06T23\:59\:59.999Z
		
    2. 

		
  2. 
			createdate:"1976-03-06T23:59:59.999Z"
		
    3. 

		
  3. 
			createdate:[1976-03-06T23:59:59.999Z TO *]
		
    4. 

		
  4. 
			createdate:[1995-12-31T23:59:59.999Z TO 2007-03-06T00:00:00Z]
		
    5. 

		
  5. 
			timestamp:[* TO NOW]
		
    6. 

		
  6. 
			pubdate:[NOW-1YEAR/DAY TO NOW/DAY+1DAY]
		
    7. 

		
  7. 
			createdate:[1976-03-06T23:59:59.999Z TO 1976-03-06T23:59:59.999Z+1YEAR]
		
    8. 

		
  8. 
			createdate:[1976-03-06T23:59:59.999Z/YEAR TO 1976-03-06T23:59:59.999Z]
		
    9.

4. DisMax Query Parser

最大分离查询器，DisMax：Maximum Disjunction  最大分离

说明：一个查询，可以为不同字段设置评分权重，在合并它的查询字句的命中文档时，每个文档的分值取各个字句中的最大得分值。

DisMax Query Parser 是设计用于处理用户输入的简单短语查询的，它的特点： 

	
    
		
		
  1. 
			只支持查询语法的一个很小的子集：简单的短语查询、+ - 修饰符、AND OR 布尔操作；
		
    2. 

		
  2. 
			简单的语法，不抛出语法错误异常给用户。
		
    3. 

		
  3. 
			可以在多个字段上进行短语查询。
		
    4. 

		
  4. 
			可以灵活设置各个查询字段的相关性权重。
		
    5. 

		
  5. 
			可以灵活增加满足某特定查询文档的相关性权重
		
    6.

4.1 DisMax Query Parser官方详细说明文档

http://lucene.apache.org/solr/guide/7_3/the-dismax-query-parser.html#the-dismax-query-parser

5. Extended DisMax Query Parser

扩展 DisMax Query Parse 使支标准查询语法（是 Standard Query Parser 和 DisMax Query Parser 的复合）。也增加了不少参数来改进disMax。

强烈建议：使用 edismax 来进行查询解析，因为它有如下特点 

	
    
		
		
  1. 
			支持的语法很丰富；
		
    2. 

		
  2. 
			很好的容错能力；
		
    3. 

		
  3. 
			灵活的加权评分设置。
		
    4.

5.1 Extended DisMax Query Parser官方详细说明文档

http://lucene.apache.org/solr/guide/7_3/the-extended-dismax-query-parser.html#the-extended-dismax-query-parser

6. 函数查询

solr查询也可使用函数，可用来过滤文档、提高相关性值、根据函数计算结果进行排序、以及返回函数计算结果。在标准查询解析器、dismax、edismax中都可以使用函数。

函数可以是： 

	
    
		
		
  1. 
			常量：数值或字符串字面值，如 10、”lucene solr”
		
    2. 

		
  2. 
			字段: name  title
		
    3. 

		
  3. 
			另一个函数：functionName(…)
		
    4. 

		
  4. 
			替代参数：
		
    5. 

		
  5. 
			 q={!func}min($f1,$f2)&f1=sqrt(popularity)&f2=1
		
    6.

6.1 solr提供的函数官方详细说明文档

http://lucene.apache.org/solr/guide/7_3/function-queries.html#function-queries

主要有数据转换函数，数学函数，相关性函数，布尔函数，距离函数

6.2 函数的使用方式

用作函数查询，查询参数值是一个函数表达式，来计算相关性得分或过滤 

	
    
		
		
  1. 
			q={!func}div(popularity,price)&fq={!frange l=1000}customer_ratings
		
    2.

在排序中使用 

	
    
		
		
  1. 
			sort=div(popularity,price) desc, score desc
		
    2.

在结果中使用 

	
    
		
		
  1. 
			&fl=sum(x, y),id,a,b,c,score&wt=xml
		
    2.

在加权参数 bf、boost中使用来计算权重 

	
    
		
		
  1. 
			q=dismax&bf="ord(popularity)^0.5 recip(rord(price),1,1000,1000)^0.3"
		
    2.

在设置评分计算函数的特殊关键字 _val_ 中使用 

	
    
		
		
  1. 
			q=_val_:mynumericfield    _val_:"recip(rord(myfield),1,2,3)"
		
    2.

6.3 Function Query 函数查询说明

函数查询：指我们在查询参数q、fq中使用了函数来改变相关性得分或过滤的一类特殊查询。函数对所有匹配的文档分别进行计算得到一个值作为一个加分值，加入到文档的相关性得分中。

改变评分：

方式一：整个查询就是一个函数表达式，匹配所有文档，文档的得分就是函数值 

	
    
		
		
  1. 
			q=*:*
		
    2. 

		
  2. 
			q={!func}div(popularity,price)&debug=all
		
    3.

说明：{!func} 说明q参数需要用func查询解析器来解析，func:Function Query Parser

方式二：值挂接，加入一个评分项，文档的得分=其他关键字得分 + 函数值 

	
    
		
		
  1. 
			q=ipod AND _val_:"div(popularity,price)"&debug=all
		
    2.

方式三：查询解析器挂接（显示嵌套查询） 

	
    
		
		
  1. 
			q=ipod AND _query_:"{!func}div(popularity,price)"&debug=all
		
    2.

方式四：查询解析器挂接（隐式嵌套查询） 

	
    
		
		
  1. 
			q=ipod AND {!func  v ="div(popularity,price)"}&debug=all
		
    2.

6.4 通过函数来过滤文档

如果需要对搜索结果进行过滤，只留下函数计算产生特定值的文档，可以选择函数区间解析器（Function Range query parser，简称frange）。在q/fq参数中应用frange 执行一个特定的函数查询，然后过滤掉函数值落在最低值和最高值范围之外的文档。 

	
    
		
		
  1. 
			q={!frange l=0.01 u=0.1}div(popularity,price)&debug=all
		
    2. 

		
  2. 
			q=ipod&fq={!frange l=0.05 u=0.1}div(popularity,price)&debug=all
		
    3.

第一个查询说明：相除的结果在0.01到0.1之间的

7. 查询中使用本地参数

7.1 什么是本地参数？

作为查询参数值的前缀，用来为查询参数添加元数据说明用的参数。看下面的查询： 

	
    
		
		
  1. 
			q=solr rocks
		
    2.

如需要为这个查询说明是进行 AND 组合及默认查询字段是title: 

	
    
		
		
  1. 
			q={!q.op=AND df=title}solr rocks
		
    2.

7.2 本地参数语法说明用的参数。看下面的查询：

作为查询参数值的前缀，用 {!key=value key=value} 包裹的多个key=value

7.3 本地参数用法示例

Query Type 的简写形式，type指定查询解析器 

	
    
		
		
  1. 
			q={!dismax qf=myfield}solr rocks
		
    2. 

		
  2. 
			q={!type=dismax qf=myfield}solr rocks
		
    3.

通过v 关键字指定参数值 

	
    
		
		
  1. 
			q={!dismax qf=myfield}solr rocks
		
    2. 

		
  2. 
			q={!type=dismax qf=myfield v='solr rocks'}
		
    3.

参数引用 

	
    
		
		
  1. 
			q={!dismax qf=myfield}solr rocks
		
    2. 

		
  2. 
			q={!type=dismax qf=myfield v=$qq}&qq=solr rocks
		
    3.

8. 其他查询解析器见官方文档

https://lucene.apache.org/solr/guide/7_3/other-parsers.html

其他查询解析器，让我们可以在查询中灵活根据需要以本地参数的方式选用

三、总结 

	
    
		
		
  1. 
			如何来写一个查询？ 掌握语法 q
		
    2. 

		
  2. 
			如何指定查询字段？ Field: df（标准查询解析器） qf (dismax查询解析器)
		
    3. 

		
  3. 
			如何添加过滤条件？Fq , {!frange}
		
    4. 

		
  4. 
			如何指定返回字段？ fl
		
    5. 

		
  5. 
			如何指定排序？ sort
		
    6. 

		
  6. 
			如何为某个词项、短语加权？词项、短语^5
		
    7. 

		
  7. 
			如何为字段加权？ qf=title^10 pf   pf2  pf3
		
    8. 

		
  8. 
			如何用字段值来进行加权，如流行度、销量？ _val_   _query_ 函数查询
		
    9. 

		
  9. 
			如何查看某个查询的调试信息？ debug
		
    10.

版权说明：
本网站凡注明“广州京杭 原创”的皆为本站原创文章，如需转载请注明出处！
本网转载皆注明出处，遵循行业规范，如发现作品内容版权或其它问题的，请与我们联系处理！
欢迎扫描右侧微信二维码与我们联系。
·上一条：Solr系列三：solr索引详解（Schema介绍、字段定义详解、Schema API 介绍） | ·下一条：Solr系列六：solr搜索详解优化查询结果（分面搜索、搜索结果高亮、查询建议、折叠展开结果、结果分组、其他搜索特性介绍）

Copyright © 广州京杭网络科技有限公司 2005-2024 版权所有    粤ICP备16019765号 

广州京杭网络科技有限公司 版权所有