CTR（click-through rate）预测模型是个性化推荐场景下的一种常用算法，它通常需要学习用户的反馈（点击、收藏、购买等），而每天在线产生的数据量又是空前庞大的。因此，加快 CTR 预估模型的训练速度至关重要。一般来说，提高训练速度会使用批量训练，不过批量太大会导致模型的准确度有所降低。
在 2 月 7 日至 2 月 14 日于华盛顿举办的 AAAI 2023 会议上，新加坡国立大学和字节跳动的研究者在获得 AAAI 2023 杰出论文奖（Distinguised Paper）的研究《CowClip: Reducing CTR Prediction Model Training Time from 12 hours to 10 minutes on 1 GPU》中，通过数学分析证明了在扩大批次时，对于不常见特征的学习率使用传统的学习率放缩，会影响学习的稳定性。
此外，研究者提出 CowClip 的梯度裁剪算法，可以简单有效扩展批大校通过在 4 个 CTR 预估模型和 2 个数据集上进行测试，团队成功将原始批大小扩大了 128 倍，并没有造成精度损失。尤其是在 DeepFM 上，通过将批大小从 1K 扩大到 128K，CowClip 实现了 AUC 超过 0.1% 的改进。在单块 V100 GPU 上，将训练时长从原本的 12 小时，缩短至只需 10 分钟，训练提速 72 倍。
北京时间 2 月 14 日 19:00-20:00，机器之心最新一期线上分享邀请到论文一作、新加坡国立大学二年级博士生郑奘巍，为大家解读 CowClip 梯度裁剪算法如何改进大批量学习进而提升推荐系统训练效率的。
分享主题：CowClip 算法分享：大批量学习加速推荐系统训练过程
分享摘要：本次分享将讲解论文《CowClip: Reducing CTR Prediction Model Training Time from 12 hours to 10 minutes on 1 GPU》。本次分享将讨论 CTR 预测加速的必要性、大 batch 训练的优点以及如何用 cowclip 算法保持性能。此外，我们还将探讨可能的未来方向。
嘉宾介绍：郑奘巍，新加坡国立大学二年级博士生，导师为尤洋教授，HPC-AI Lab 成员。本科毕业于南京大学。目前的研究方向包括机器学习训练加速和计算机视觉。
论文链接：https://arxiv.org/abs/2204.06240
代码链接：https://github.com/bytedance/LargeBatchCTR
