Presented By O’Reilly and Intel AI
Put AI to work
April 10-11, 2018: Training
April 11-13, 2018: Tutorials & Conference
Beijing, CN

基于BigDL的超大规模图像处理在京东的实践

此演讲使用中文 (This will be presented in Chinese)

邱鑫 (Intel)
13:1013:50 Friday, April 13, 2018
实施人工智能 (Implementing AI)
Location: 多功能厅5A+B(Function Room 5A+B)
Secondary topics:  计算机视觉(Computer Vision), 零售业与电子商务 (Retail and e-commerce)

必要预备知识 (Prerequisite Knowledge)

了解图像处理、Spark及深度学习。

您将学到什么 (What you'll learn)

学习如何使用BigDL为大规模数据构建端到端深度学习应用。

描述 (Description)

深度学习技术被行业广泛采用来解决计算机视觉问题。随着数据量的不断增长,加快和扩展数据处理流程成了一个很关键的问题。然而,由于软件和硬件基础设施的限制,基于GPU解决方案的应用程序面临许多挑战。为此,BigDL(基于Apache Spark的大数据分布式的深度学习框架)为大规模图像处理提供了丰富的端到端支持,包括基于OpenCV的图像预处理库和各种视觉模型( SSD,Faster-RCNN,Inception,ResNet等)。 BigDL还支持从第三方框架(如Caffe,Tensorflow,Keras和Torch)加载模型。这些支持使得构建各种图像应用程序变得容易,如目标检测,图像分类和特征提取。

我们将介绍如何在Apache Spark上使用BigDL构建灵活性和高可扩展性的端到端深度学习应用程序。我们还将分享我们在京东构建大规模图像特征提取流水线的经验,与京东之前的GPU解决方案相比,速度提高了3.83倍。 BigDL的高可扩展性,高性能和易用性使得利用深度学习技术分析大量图像变得更容易。

Photo of 邱鑫

邱鑫

Intel

来自于Intel大数据技术团队,专注于大数据分析领域,主要研究分布式机器学习的原理及应用,是基于Spark的深度学习框架BigDL的核心贡献者。