yougth的博客

机器学习基础系列之一

最大似然估计与交叉熵损失在模型中的应用

最大似然估计最大似然估计(Maximum Likelihood Estimation)，简称MLE，假设现在有个抛硬币机器，我们可以任意使用这个机器抛硬币然后观测结果，假设只有两种情况，正面或者反面，假设抛硬币机器每次出的结果是服从某个已知分布的，而且每次出的结果都不受之前的结果的影响，即独立的，那么最大似然估计就是我们已经拿到观测结果，然后反推具有最大可能（概率最大）导致出现这个分布函...

Posted by BY on March 31, 2021

多目标系列之二ESMM模型

ESMM模型详解

再上一篇MMOE中遗留下来一个问题，在多阶段多目标优化中，后面阶段转化必然要在前一阶段转化成功的基础上产生的，这两阶段的关系怎么建模到模型中，看看ESMM是怎么解决的。 ESMM原始论文是阿里2018年发在SIGIR上面，《Entire Space Multi-Task Model: An Eﬀective Approach for Estimating Post-Click Conver...

Posted by BY on March 30, 2021

多目标系列之一MMOE模型

MMOE模型详解

现在客户运营已经离不开多目标了，原先做新闻推荐会关注单纯点击率，现在基本上会关注人均时长或者留存，都是围绕着多目标展开的。多目标可以从两个维度分，第一个维度是多个目标前后有依赖关系，比如文章推荐或者商品购买推荐，都是有转化漏斗的，需要先点击才能发生阅读时长或者点赞，在商品上就是先点击后购买转化；另一种是前后目标没有依赖关系的，比如抖音沉浸式短视频，点击开就会播放视频，那么产生的指标例如点...

Posted by BY on March 25, 2021

被讨厌的勇气

《被讨厌的勇气》读书笔记

周五晚上看奇葩说今年最后一期，说到失眠、抑郁的话题，平常傻乐的大老师忽然特别走心的建议看一下《被讨厌的勇气》，说他每隔一段时间就会去翻一翻，很好奇是什么样的书能让大老师这样洒脱的人这么上心。目的论现在想一个问题：你过的开心吗？现在的生活是你想要的吗？如果可以重新开始你会选择过这样的生活以及变成现在的你吗？我想大多数人都会回答不开心，感觉光是能解开你不开心的问题这本书就值了。让...

Posted by BY on March 14, 2021

贝叶斯个性化BPR算法

Bayesian Personalized Ranking Loss算法

优化和损失函数是机器学习的一大分支。其中按照大类分为PointWise，就是通过直接预估单个的物品的得分去做排序，在精排环节中最常用；第二类叫PairWise，就是把排序问题看成是其中物品组成的任意pair，然后对比两两pair之间的顺序，所以样本就是这种物品对，这种在召回环节最常用；第三类是ListWise算法，就是需要考虑待排序的物品中任意之间的顺序，把整个列表当作样本，一般在重排环节用...

Posted by yougth on February 9, 2021

Youtube2019双塔召回论文精读

youtube论文精读

19年Recsys上youtube出了两篇论文，虽然youtube中国推荐做的贼烂，但是论文依旧延续了精品的传统。 yougth这里对其中热度不是那么高的一篇《Sampling-Bias-Corrected Neural Modeling for Large Corpus Item Recommendations》做一个精读。总体思路首先大体来讲，一个很有意思的点是，google也...

Posted by BY on February 1, 2021

我的价值观

价值观测试的引发的思考

简单的价值观测试今天看到一个价值观测试，首先有两组词：富足的生活、社会正义、成功、奉献、权利、正直守规、快乐、社会秩序、自由、礼貌、冒险从两组中分别选出你认为最重要的三个，按照重要性排序，填入下面表格；另外，假设你现在有100w，你愿意分别给每一个支付多少钱。比如我的大概是这样: 排序单词金额 ...

Posted by BY on January 22, 2021

DSSM双塔模型系列之二

双塔模型排序

前面讲了双塔模型召回，这一篇讲万能的双塔模型做排序，在广告和推荐的粗排序环节广泛实用。双塔排序首先这里的排序指的是粗排环节，召回侧多个召回渠道可能会召回几千级别的item，而精排模型一般复杂度比较高，所以整体目的是从几千的用户可能感兴趣的item里选出用户最感兴趣的top几百。而样本侧呢，也没什么可说的，就直接用精排侧落的样本，比如点击率模型的话，就是曝光点击为正样本，曝光未点击...

Posted by BY on December 17, 2020

DSSM双塔模型系列一

双塔模型召回

因为今年和带的实习生一起做了下双塔模型，加上这个模型在工业界的大量运用，以及他符合我的审美，大的道理都是最简单的道理，实用的模型也是结构上很简洁的模型。所以打算写关于双塔模型的一个系列的文章，双塔召回、双塔排序、双塔多目标、以及塔的结构上的改进。模型介绍双塔模型最早是2013年微软提出，《Learning Deep Structured Semantic Models for Web...

Posted by BY on December 7, 2020

召回离线评估指标问题记录

离线评估指标

AUC是否能作为召回评估指标首先，AUC是代表模型的排序能力，因为在召回环节考虑所有推荐物品的顺序没有太大意义，所以不是一个好的评估指标。另外后面所有提到的AUC含义都是针对单个user的，即group by user AUC。 AUC和线上优化指标正相关嘛不相关。我们先从AUC的计算说起，计算auc需要知道每个item的label和score，score决定的最终出去的顺序；但是...

Posted by BY on October 15, 2020

Yougth Blog