Juconcurrent 学而不思则罔,思而不学则殆。

Elasticsearch学习笔记(15) - 相关性算分


简介

在Elasticsearch中,相关性算分描述了一个文档和查询语句的匹配程度。Elasticsearch会对每个匹配查询条件的结果进行相关性分数的计算,即:_score。

算分的本质是为了排序,需要把最符合用户需求的文档排列在最前面。在Elasticsearch5.0以前,默认的相关性算分为TF-IDF。5.0及之后的版本采用的是BM25。

词频 - TF

词频,英文缩写为TF,英文全写为Term Frequency。词频用于描述检索词在一篇文档中出现的频率。即:检索词出现的次数除以文档的总字数。

衡量一条查询语句和结果文档相关性的简单方法:简单地将搜索语句中的每一个词的TF进行相加。

例如,我的苹果,即为:TF(我) + TF(的) + TF(苹果)。

停用词,英文名为Stop Word,例如我的苹果中的在文档中可能出现很多次,但贡献的相关度却几乎没有用处,因此不应该考虑他们的词频。

逆文档频率 - IDF

相对于逆文档频率,我们先来说说文档频率。

文档频率,英文缩写为DF,英文全写为Document Frequency,用于检索词在所有文档中出现的频率。

  • 苹果 在相对较少的文档中出现
  • 在相对较多的文档中出现
  • 在大量的文档中出现

逆文档频率,英文全写为:Inverse Document Frequency。简单说也就是:

log(全部文档数 / 检索词出现过的文档总数)。

TF-IDF

TF-IDF的本质就是将TF求和变成了加权求和

TF(我) * IDF(我) + TF(的) * IDF(的) + TF(苹果) * IDF(苹果)。

  出现的文档数 总文档数 IDF
5亿 10亿 log(2) = 1
10亿 10亿 log(1) = 0
苹果 200万 10亿 log(500) = 8.96

TF-IDF的概念

  1. 被公认为信息检索领域最重要的发明
  2. 除了在信息检索领域,在文献分类和其他相关领域都有着非常广泛的应用
  3. 关于其历史及精确定义,参考维基百科的TF-IDF
  4. 现代搜索引擎,对TF-IDF进行了大量细微的优化

Lucene的TF-IDF相关性算分公式

TF-IDF

BM25

  1. 从Elasticsearch5.0开始,默认算法由TF-IDF改为BM25
  2. 和经典的TF-IDF相比,当TF无限增加时,BM25计算的相关性分数会趋于一个固定数值。

BM25

Explain API

在查询语句时,我们可通过explain查看TF-IDF。

# 创建索引
PUT testscore
{
  "settings": {
    "number_of_shards": 1
  },
  "mappings": {
    "properties": {
      "content": {
        "type": "text"
      }
    }
  }
}

# 写入数据
PUT testscore/_bulk
{ "index": { "_id": 1 }}
{ "content":"we use Elasticsearch to power the search" }
{ "index": { "_id": 2 }}
{ "content":"we like elasticsearch" }
{ "index": { "_id": 3 }}
{ "content":"The scoring of documents is caculated by the scoring formula" }
{ "index": { "_id": 4 }}
{ "content":"you know, for search" }

# 查询语句。
# 查询的时间,我们发现id为2的文档却排列在第一位。
# 原因在于,相对于id为1的文档,id为2的文档单词数更少。
POST /testscore/_search
{
  "explain": true,
  "query": {
    "match": {
      //"content":"you"
      "content": "elasticsearch"
      //"content":"the"
      //"content": "the elasticsearch"
    }
  }
}

Boosting

Boosting是一种控制相关性分数的手段,可作用于索引、字段或查询子条件。

  1. 当boost > 1时,算分的相关度相关性会增加
  2. 当0 < boost < 1时,算分的相关度相对性会降低
  3. 当boost < 0时,贡献负分
POST testscore/_search
{
    "query": {
        "boosting" : {
            "positive" : {
                "term" : {
                    "content" : "elasticsearch"
                }
            },
            "negative" : {
                 "term" : {
                     "content" : "like"
                }
            },
            "negative_boost" : 0.2
        }
    }
}

总结

  1. 什么是相关性,相关性分数计算的简单介绍,主要为:TF-IDF / BM25
  2. 如何在Elasticsearch中定制相关度算法的参数
  3. Elasticsearch可以对索引、字段和查询语句设置boosting参数

参考链接


Content