yougth的博客

DSSM双塔模型系列之二

双塔模型排序

前面讲了双塔模型召回，这一篇讲万能的双塔模型做排序，在广告和推荐的粗排序环节广泛实用。双塔排序首先这里的排序指的是粗排环节，召回侧多个召回渠道可能会召回几千级别的item，而精排模型一般复杂度比较高，所以整体目的是从几千的用户可能感兴趣的item里选出用户最感兴趣的top几百。而样本侧呢，也没什么可说的，就直接用精排侧落的样本，比如点击率模型的话，就是曝光点击为正样本，曝光未点击...

Posted by BY on December 17, 2020

DSSM双塔模型系列一

双塔模型召回

因为今年和带的实习生一起做了下双塔模型，加上这个模型在工业界的大量运用，以及他符合我的审美，大的道理都是最简单的道理，实用的模型也是结构上很简洁的模型。所以打算写关于双塔模型的一个系列的文章，双塔召回、双塔排序、双塔多目标、以及塔的结构上的改进。模型介绍双塔模型最早是2013年微软提出，《Learning Deep Structured Semantic Models for Web...

Posted by BY on December 7, 2020

召回离线评估指标问题记录

离线评估指标

AUC是否能作为召回评估指标首先，AUC是代表模型的排序能力，因为在召回环节考虑所有推荐物品的顺序没有太大意义，所以不是一个好的评估指标。另外后面所有提到的AUC含义都是针对单个user的，即group by user AUC。 AUC和线上优化指标正相关嘛不相关。我们先从AUC的计算说起，计算auc需要知道每个item的label和score，score决定的最终出去的顺序；但是...

Posted by BY on October 15, 2020

巴菲特的价值投资之道

巴菲特价值投资总结

现在市面上理财投资的书，随便翻十本里面九本再讲价值投资，可能其中八本读下来发现作者是研究巴菲特的投资方法，可见巴菲特现在火的程度，那么巴菲特为什么这么火呢？我们首先回顾一下巴菲特的投资生涯。财富履历先看看巴菲特各个年龄段的财富积累。（1）青少年阶段：11岁买入他人生中的第一只股票；14岁已经完成了他最喜欢的一本书《赚取1000美元的1000招》中所提出的第一个目标：拥有1000美...

Posted by BY on May 24, 2020

红楼梦中的对比

《红楼梦》读后感

最近重读了红楼梦，全篇处处充满着对比，从对比的角度分析一下。繁华与幻灭的对比首先从作者曹雪芹的一生，青春期前处在繁华的富贵中，后半生处在反差极大的贫困中。俗话说，由俭入奢易，由奢易俭难。经历了这么大的反差变化，作者写红楼梦的时候一定思绪万千，而且这种对比反差在全书中都能感受出来。我们刚开始读的时候，觉得好个富贵人家，各种规矩、各种排场、吃的用的，都是当时数一数二的，但是在这样繁华...

Posted by yougth on May 19, 2020

MAB-bandits问题

E&E冷启动问题

之前讲了推荐系统重的EE算法，讲了一些基础的Bandits冷启动算法，参加Recsys发现论文中和工业界讲的占比最高的是MAB问题。这里接着上面在深入一下。 LinUCB 前面说的这些MAB算法，做的假设是，当前这个新物料，是好的还是坏的是由本身的质量决定的。所以我们用点击率来定义物品质量，如果点击率高就会在exploit策略中大量推荐。但是，现在的推荐系统已经是完全个性化的了，一个...

Posted by BY on September 30, 2019

2019Recsys参会流水记录

参会记录

记录一下会上自己提前预习以及一些后续要做的事情的记录，其中有5篇标注的重点阅读文章，每一篇都会重点阅读之后发出来。 Recsys 2019其实相对往年人数差不多，来了大约840多人，相比去年没有增加多少，不知道是不是因为酒店礼堂大小的限制，明年在巴西的里约热内卢，据说能容纳两千人，预计人数会翻倍。论文提交数目基本全球还是挺分散的，最多是美国，22%占比，其次就是中国9.3%，还有提升的空间...

Posted by BY on September 21, 2019

youtube深度学习推荐经典论文中关键点

《Deep Neural Networks for YouTube Recommendations》精读

前两天面试了一个候选人，他们其中一个项目就是复现youtube的深度学习embedding召回方案，虽然说效果不好，以及挺多人用了说效果不及预期，但是挺多思路对现在推荐依然影响深远。总体思路也是正常的分两阶段，第一阶段负责召回，在这里叫candidate generation，后一阶段负责ranking。这里有两个先进点，这篇论文是16年9月发的，当时大家都在普及用协同过滤，...

Posted by BY on September 11, 2019

逻辑回归特征工程及调参记录

特征工程记录

现在常用的有两种建模思路，要么是用简单的模型和复杂的特征工程，要么是用复杂的模型和简单的特征工程，相当于你喜欢玩模型还是喜欢玩特征，各自有各自的好处，当然玩特征可解释性好以及要求比较低。而玩特征大家最多用的模型就是罗辑回归，这里记录一下用逻辑回归建模的历程以及优化思路。首先我用的是线上4天的数据集，总计2000w数据，先把数据按照请求时间(action_show_actionTime)排...

Posted by BY on April 1, 2019

word2vec算法

NLP模型之二---word2vec

word2vec是自然语言处理的最基础模型，他的embeding的思想也影响了很多其他比如推荐、广告等，是google的Mikolov大神团队2013年提出的，这里从我的理解的角度分析一下。这篇文章主要是参考，有兴趣对可以直接看原文，这里记录一些我的理解。简介首先，为什么说他是一个经典模型，有两点原因，一个是因为他的的结果是每词的词向量，结果很灵活，比如我们计算两个词的相似度，以...

Posted by yougth on March 26, 2019

Yougth Blog