360展示广告智能化演进( 四 )


360展示广告智能化演进
文章图片


oCPC的焦点是转化率模子:

  • 产物上线初期 , 客户较少 , 可以接纳分客户训练 , 针对使用该产物的客户专门优化 , 制止影响其他正常的客户;
  • 随着数据的积累和效果稳固 , 在前期投放历程中 , 出于郑重思量 , 对于客户的投放都是精致化的流量 , 流量之间相互之间没有重叠;
  • 随着客户对投放量需求的增添 , 模子需要对之前没有见过的流量做转化率预估 , 行使同行业客户的相似性 , 分行业训练模子可以让客户共享投放信息来解决这个问题;
  • 随着产物的成熟 , 分行业和分客户的多模子维护成本过高 , 使用单一模子就能知足所有客户需求 。
4. 简朴模子→庞大模子
360展示广告智能化演进
文章图片


随着产物的迭代 , 模子从简朴模子生长到庞大模子 。产物初期 , 仅在精致流量上做投放 , 接纳GBDT就可以知足需求 。随着可投流量和特征数目增添 , GBDT的树深度和棵数有限无法知足需求 , 接纳LR模子解决可投流量扩展问题 。随着营业生长拥有海量数据 , 传统模子存在瓶颈 , 最终接纳了DNN模子解决海量数据问题 。
5. oCPC模子结构
360展示广告智能化演进
文章图片


oCPC模子结构接纳PNN架构 , 将特征分为多个group——广告、媒体、用户、其他上下文;每个group学习一个embedding示意 , 然后使用embedding相乘获得特征交织 。思量到神经网络的庞大性 , 线上盘算做了性能优化 , 展望时广告无关的部门只会盘算一次 , 只有差别的广告特征才会被多次盘算 。
6. 单义务→多义务
360展示广告智能化演进
文章图片


转化率模子初期只思量了点击到转化的样本 , 训练出一个单义务的转化率模子 。随着ESMM和ESM2的泛起 , 360的转化率模子从单义务向多义务模子生长 。单义务模子思量的是点击后到转化的样本 , 只思量了曝光的子集样本 。若何保持线上线下一致 , 将曝光无点击的样本加入训练 , 这就是多义务模子解决的问题 。完整的样本空间 , 子模块CTR PNN模子是曝光样本的点击概率 , LOSS1是pctr的loss , 子模块CVR PNN模子是点击后转化的概率模子 , pcvr示意该曝光样本若是点击 , 点击到转化的概率 。现实需要对于每个曝光样本做曝光转化预估 , 那么将pctr * pcvr就获得了曝光转化概率pctcvr , 而LOSS2就是该曝光转化的loss 。曝光到转化之间还存在其他链路 , 可以使用更多的义务和loss来示意 。另外 , 多义务模子会共享group embedding输入 。