English中文
PUT AI TO WORK
June 18-21, 2019
Beijing, CN

Sparkling: 基于Apache Spark进行一站式机器学习

此演讲使用中文 (This will be presented in Chinese)

Yiheng Wang (Tencent)
13:1013:50 Friday, June 21, 2019
实施人工智能 (Implementing AI)
Location: 报告厅(Auditorium)
Average rating: *****
(5.00, 1 rating)

必要预备知识 (Prerequisite Knowledge)

听众需要对机器学习项目有基本的了解,对大数据相关技术有了解更好

您将学到什么 (What you'll learn)

用户将了解到如何在大数据平台上更好的开展一个完整的机器学习项目

描述 (Description)

如今越来越多的企业尝试在他们业务和流程中使用机器学习技术。而且随着相关技术的发展,如何进行落地,成为一个越来越受到重视的问题。然而由于机器学习的实践往往涉及到复杂的工作流构建,数据管理,跨部门的协作,多种工具的整合,目前仍然是一个比较有挑战性的任务。如今成功利用起机器学习技术的企业仍可以说是凤毛麟角,大部分的企业仍在这个方向上挣扎。

本议题将介绍我们如何帮助客户构建一个一站式的机器学习平台,以加速他们机器学习技术的落地。我们选择基于Apache Spark去做这件事情。Apache Spark是流行的大数据处理框架,被广泛的应用于海量数据的分析处理。除了大数据的分析和处理,我们的工作还包括
1. 多种数据源的接入让用户可以方便导入数据
2. 提供一种简单易用的界面方便数据科学工作流的构建和查看
3. 基于Notebook的在线编程环境
4. 丰富的数据可视化和模型可视化组件
5. 以可插拔的方式集成多种机器学习框架,例如Tensorflow,Pytorch, BigDL等
6. 模型的管理,部署和监控

我们看到通过使用完善的数据管理和机器学习服务,用户能够更容易的开始建立他们的机器学习项目。并且随着数据的积累和模型的持续改进,机器学习的优势逐渐显现出来。当然这个过程一帆风顺的,我们也会分享这一过程中遇到的问题和挑战。

Photo of Yiheng Wang

Yiheng Wang

Tencent

王奕恒是腾讯云的高级研发工程师,主要方向是分布式机器学习,尤其是基于Apache Spark构建大规模数据分析平台。他还是Apache Spark上深度学习框架BigDL的主要贡献者。奕恒之前工作于Intel和摩根士丹利。