贝叶斯个性化BPR算法

Bayesian Personalized Ranking Loss算法

Posted by yougth on February 9, 2021

优化和损失函数是机器学习的一大分支。其中按照大类分为PointWise,就是通过直接预估单个的物品的得分去做排序,在精排环节中最常用;第二类叫PairWise,就是把排序问题看成是其中物品组成的任意pair,然后对比两两pair之间的顺序,所以样本就是这种物品对,这种在召回环节最常用;第三类是ListWise算法,就是需要考虑待排序的物品中任意之间的顺序,把整个列表当作样本,一般在重排环节用的比较多。当然越后面的算法复杂度是越高,因为从组合的角度来说,组合的情况越往后越多,计算也越复杂。

贝叶斯个性化(BPR)就是其中的比较著名的PairWise算法,最初提出来是用来优化第一代召回算法矩阵分解用的,矩阵分解的思路虽然现在用的比较少了,但是基于PairWise的召回loss优化方法被很多现在主流找算法依然使用。

算法定义

首先拿到的训练样本就是一个UI矩阵,横轴表示所有的物品,纵轴表示所有的用户,然后矩阵里面填充的结果是用户对当前物品的打分值,可以是显式的隐式的,之前的思路是通过分解矩阵来填充里面空的格子,然后去预测用户的偏好。

这里换一个角度看待这个问题,对于每个矩阵里的同一个用户来说,如果物品i的打分比物品j高,也就是说当前用户u相比于物品j更喜欢物品i,我们用(u, i, j)来表示,当然这里有两个假设。

  • 用户u的偏好和其他用户无关
  • 用户u的偏好物品i和j也和其他的物品无关,也就是说他对物品的喜好是相互独立的,不会相互影响

然后基于这样的假设,同样我们要去做矩阵分解,最终分解维度为k的两个矩阵

算法详解

看起来我们要解这样一个问题

公式中表示的就是对于用户u喜欢物品的偏序关系表示,为简化后要求的矩阵参数,即最终要求解的结果。

使用贝叶斯公式,转化为上面式子,因为用户偏序关系是固定的输入,所以分母部分客户忽略,我们只看分子部分。

首先看分子中的第一项,使用最大似然估计

其中是0或者1,当b满足偏序关系时为1,否则为0.

按照这个思路,上式后半部分不满足偏序关系,则次方部分为0,那么整个后半部分为1,而前半部分次方项一定满足,所以次方项为1,化简后得到

我们先忽略前面求积部分,对概率部分做变换

这里假设最终求解出来矩阵中结果为,首先把里面部分变成了,设计这个函数的目的是希望当满足偏序关系时结果>0,当不满足偏序关系时结果<0,接着对函数使用了sigmoid函数做替代,原因是sigmoid当结果>0的时候趋近于1,<0时趋近于0,正好对前面函数做了约束,而且它性质很好且容易优化。

其实整体看来这个替代还是很漂亮的,把已知参数求解偏序关系的概率转化成这样一个简单的函数形式,这也是这个论文的核心。

先写到这儿,后面有时间在补充这个算法的重点以及它和传统SVD相比较的区别。