【深度学习】排序学习（Learningtorank）
L2R将机器学习的技术很好的应⽤到了排序中。
github
lightgbm的训练速度⾮常快，快的起飞。
先看看L2R之前，业界是怎么做排序的。下⾯两个：
1.1 相关度排序模型(Relevance Ranking Model)
根据查询和⽂档之间的相似度来对⽂档进⾏排序。
常⽤的模型包括：布尔模型(Boolean Model)，向量空间模型(Vector Space Model)，隐语义分析(Latent Semantic Analysis)，BM25，LMIR 模型等等。
1.2 重要性排序模型(Importance Ranking Model)
根据⽹页(亦即⽂档)之间的图结构来判断⽂档的权威程度，
典型的权威⽹站包括Google，Yahoo!等。常⽤的模型包括PageRank，HITS，HillTop，TrustRank等等。
为什么需要使⽤机器学习的⽅法来进⾏排序
对于传统的排序模型，单个模型往往只能考虑某⼀个⽅⾯(相关度或者重要性)，
⽤单个模型达不到要求。我们就想说，组合多种排序模型来进⾏排序，但是，如何组合多个排序模型来形成⼀个新的排序模型，是⼀个很⼤的问题。
使⽤机器学习的⽅法，我们可以把各个现有排序模型的输出作为特征，然后训练⼀个新的模型，并⾃动学得这个新的模型的参数，从⽽很⽅便的可以组合多个现有的排序模型来⽣成新的排序模型。
L2R的特征即然是使⽤机器学习的⽅法，那么就要有feature，
高三历史教学计划feature可以分为3⼤类：针的成语
虚无缥缈的近义词Doc本⾝的特征：Pagerank、内容丰富度、是否是spam、质量值、CTR等
Query-Doc的特征：Query-Doc的相关性、Query在⽂档中出现的次数，査询词的Proximity值（即在⽂
档中多⼤的窗⼝内可以出现所有査询词）等。当然，有些Query-Doc的特征不是显式的，⽽是有Semantic的，即虽然Query在⽂档中没有出现，但是语义上是有关系的。Query的特征：Query 在所有Query 中的出现次数、⽐率等
4. L2R训练数据的获取
L2R的训练数据可以有三种形式：对于每个查询，各个⽂档的绝对相关值(⾮常相关，⽐较相关，不相关，等等)；对于每个查询，两两⽂档之间的相对相关值(⽂档1⽐⽂档2相关，⽂档4⽐⽂档3相关，等等)；对于每个查询，所有⽂档的按相关度排序的列表(⽂档1>⽂档2>⽂档3)。这三种形式的训练数据之间可以相互转换。
训练数据的获取有两种主要⽅法：⼈⼯标注[3]和从⽇志⽂件中挖掘[4]。
⼈⼯标注：⾸先从搜索引擎的搜索记录中随机抽取⼀些查询，将这些查询提交给多个不同的搜索引擎，然后选取各个搜索引擎返回结果的前K个，最后由专业⼈员来对这些⽂档按照和查询的相关度进⾏标注。
5. L2R模型训练
L2R是⼀个有监督学习过程。
对与每个给定的查询-⽂档对(query document pair)，抽取相应的特征(既包括查询和⽂档之间的各种相关度，也包括⽂档本⾝的特征以及重要性等)，另外通过或者⼈⼯标注或者从⽇志中挖掘的⽅法来得到给定查询下⽂档集合的真实序列。然后我们使⽤L2R的各种算法来学到⼀个排序模型，使其输出的⽂档序列和真实序列尽可能相似。
瓷砖十大名牌6. L2R算法分类和简介
L2R算法主要包括三种类别：PointWi，PairWi，ListWi。
最直观的⽅案是Pointwi算法，例如对于⼴告CTR预估，在训练阶段需要标注某个⽂档的点击概率，这相对来说容易。Pairwi算法⼀个重要分⽀是Lambda系列，包括LambdaRank、LambdaMart等，它的核⼼思想是：很多时候我们很难直接计算损失函数的值，但却很容易计算损失函数梯度（Gradient）。这意味着我们很难计算整个列表的nDCG和ERR等指标，但却很容易知道某个⽂档应该排的更靠前还是靠后。Listwi算法往往效果最好，但是如何为每个请求对所有⽂档进⾏标注是⼀个巨⼤的挑战。
7. L2R效果评价
初中三角函数公式L2R是⽤机器学习的⽅法来进⾏排序，所以评价L2R效果的指标就是评价排序的指标，主要包括⼀下⼏种：
鸡蛋里挑骨头
1) WTA(Winners take all) 对于给定的查询q，如果模型返回的结果列表中，第⼀个⽂档是相关的，则WTA(q)=1，否则为0.
2) MRR(Mean Reciprocal Rank) 对于给定查询q，如果第⼀个相关的⽂档的位置是R(q)，则MRR(q)=1/R(q)。
3) MAP(Mean Average Precision) 对于每个真实相关的⽂档d，考虑其在模型排序结果中的位置P(d)，统计该位置之前的⽂档集合的分类准确率，取所有这些准确率的平均值。
4) NDCG(Normalized Discounted Cumulative Gain归⼀化折损累计增益) 是⼀种综合考虑模型排序结果和真实序列之间的关系的⼀种指标，也是最常⽤的衡量排序结果的指标，
DCG的两个思想：
1、让排名越靠前的结果越能影响最后的结果；
2、有⾼关联度的结果出现在更靠前的位置的时候，指标会越⾼；
。
5) RC(Rank Correlation) 使⽤相关度来衡量排序结果和真实序列之间的相似度，常⽤的指标是Kendall’s Tau。
在线排序架构
索引阶段的⼯作是由索引器（Indexer）读取⽂档（Documents）构建索引（Index）。
查询阶段读取索引做为召回，然后交给Topn Retriever进⾏粗排，在粗排后的结果⾥⾯将前n个⽂档传给Reranker进⾏精排。这样⼀个召回、粗排、精排的架构最初是由Google提出来的，也被称为“Two-Pha Scheme”。
索引部分属于离线阶段，这⾥重点讲述在线排序阶段，即查询阶段。
愤怒的同桌电影综上所述，召回总体⽽⾔分成四⼤类：
关键词召回，我们采⽤Elasticarch解决⽅案。
距离召回，我们采⽤K-D tree的解决⽅案。
粗排召回。
推荐类召回。
进展
a8在⼯业界内，推荐算法有更多的应⽤，例如微软提出了DSSM（deep structured mantic models），⼀种Pair Wi Ranking⽅法。Google 提出了神经⽹络（a wide and deep network）来做推荐和排序。近期，⼤家可能更多使⽤RNN/CNN或者Attention的技术来做推荐。因为⽤户在某⼀个平台上，会存在⼀个天然的⾏为序列，这个性质使得RNN/CNN或者Attention具有更佳的可⽤性。
