• 2022年05月28日 星期六

由中国人工智能学会(CAAI)主办,CAAI深度学习专委会承办的“深度学习理论与应用系列线上论坛”第7讲将于2022年4月13日线上开讲。系列论坛邀请国内高校和研究所一线科研人员主讲,内容覆盖深度学习、复杂系统、群智智能及强化学习等方面,在全球抗疫的时代背景下,为大家带来全方位的交流与分享。本讲邀请清华大学计算机系副教授陆游游作报告,报告题目:智能推荐系统中的存储。


image.png


报告题目:智能推荐系统中的存储


报告摘要

智能推荐系统的规模越来越大,已经达到百亿参数量级,这给存储系统的设计带来了新的挑战。其中,一个挑战是“容量墙”,每天新增百TB级的训练样本使得特征数目持续增长,底层系统需利用有限的服务器内存存储不断膨胀的embedding表,同时尽可能提高模型的准确率;另一个“带宽墙”,查询embedding表时引入的大量不规则DRAM访问,使得DRAM带宽不足成为推荐模型的主要性能瓶颈。本报告主要介绍如何从存储系统角度支撑更大规模、更高性能的推荐模型训练与部署。对于“容量墙”,针对实时训练场景下不同embedding表动态变化的特性,设计了一个内存高效的持续学习系统,在有限的内存上提高模型的表示能力;对于“带宽墙”,设计了一个GPU片上稀疏参数缓存,利用GPU的高带宽内存吸收对DRAM的访问,缓解DRAM的带宽瓶颈问题。


报告嘉宾

image.png

陆游游

清华大学计算机系副教授、博士生导师


主要研究方向是非易失性存储、文件系统及分布式存储等,在FAST、OSDI、SOSP、USENIX ATC、ASPLOS等国际顶级会议期刊上发表论文20余篇,获得IEEE NVMSA 2014大会最佳论文奖和MSST 2015最佳论文提名奖。曾获CCF优秀博士学位论文奖、ACM中国操作系统分会新星奖、教育部技术发明一等奖、CCF技术发明一等奖等,入选首届中国科协青年人才托举工程、国家自然科学基金优青资助。

中国人工智能学会
2022年04月12日


Copyright © 2010 中国人工智能学会 互联网ICP备案:京ICP备06029423号-1
地址: 北京市海淀区西土城路10号 邮编: 100876 电话/传真: 010-62283919

二维码