Presented By O’Reilly and Intel AI
Put AI to work
April 10-11, 2018: Training
April 11-13, 2018: Tutorials & Conference
Beijing, CN

端到端深度学习优化在互联网业务场景下的应用实践

此演讲使用中文 (This will be presented in Chinese)

杨军 (阿里巴巴)
11:1511:55 Thursday, April 12, 2018
实施人工智能 (Implementing AI), 模型与方法 (Models and Methods)
Location: 多功能厅5A+B(Function Room 5A+B) Level:
Secondary topics:  深度学习(Deep Learning), 设计AI平台(Designing AI platforms)

必要预备知识 (Prerequisite Knowledge)

了解深度学习 对GPU/异构计算有基本的了解 了解主流的深度学习框架

您将学到什么 (What you'll learn)

深度学习的离线训练优化及在线Inference优化的方法论及其在实际的经典互联网业务场景的实践经验。

描述 (Description)

本分享会覆盖下列内容:

  • 用于制导优化工作的性能评测方法论及实践经验。
    优化未启,profiling先行是优化工作的common sense,但是作为AI基础设施平台,所面临的profiling问题又与常规的profiling问题有所区别,我们会对平台层面的profiling工作share我们的一些经验和思考。
  • 离线训练优化
    海量数据的累积,为经典AI领域带来显著效果提升的同时,对离线训练也带来了新的挑战,同时模型结构日趋复杂也对于主流训练硬件带来更大的挑战,如何结合业务场景,利用系统与算法相结合的手段,充分挖掘硬件计算及通讯设施的效能,对离线训练环节的优化起着至关重要的作用。
  • 在线Inference优化
    深度学习模型在多个任务场景获得显著的离线效果提升的同时,也因为其模型结构的复杂性为在线Inference带来了新的挑战,离线场景适用的很多优化对于在线Inference优化并不完全适用,如何结合深度学习workload的特点,通过模型结构的优化,并配合系统层面的实施在满足业务指标需求的同时降低在线latency并确保QPS,是影响到深度学习模型真正布署及应用的关键环节。
  • 会结合一些具体的互联网业务场景来对优化工作的原则和具体实践进行阐述,比如机器翻译、图像识别、电商推荐等。
Photo of 杨军

杨军

阿里巴巴

目前在阿里计算平台事业部大规模算法团队负责大规模深度学习算法基础设施相关建设工作,对大规模分布式机器学习的开发、建设、优化以及在不同业务场景中的落地应用有较为深入的理解和认识。之前先后在奇虎360担当广告技术部门架构师,Yahoo北京研发中心担当效果广告系统技术负责人。