O’REILLY、INTEL AI 主办
Put AI to work
2018年4月10-11日:培训
2018年4月11-13日:辅导课 & 会议
北京,中国

使用Kyligence Robot高效调优和诊断Apache Kylin

此演讲使用中文 (This will be presented in Chinese)

Dong Li (Kyligence)
16:2017:00 Friday, April 13, 2018
实施人工智能 (Implementing AI)
Location: 多功能厅3A+B (Function Room 3A+B)

必要预备知识 (Prerequisite Knowledge)

了解大数据、OLAP、机器学习基础

您将学到什么 (What you'll learn)

对以Kylin为代表的OLAP分析平台进行智能调优的理解,启发观众从不同的角度思考如何使用机器学习技术提高大数据分析的效率

描述 (Description)

Apache Kylin是当今最流行的OLAP on Hadoop分析引擎之一,它可以在秒级甚至亚秒级查询PB规模的数据,帮助大数据分析师简单通过SQL或BI工具就能在大数据上进行交互式分析。
大数据产品大都结构复杂、耦合度高,当遇到系统故障或性能瓶颈,运维人员需要分析大量日志以定位根本原因,并寻找解决方案。例如,查询性能的瓶颈可能和Cube模型设计、HBase集群状态、Kylin服务状态有关,运维人员必须对Kylin、HBase有深入了解才能快速解决问题。
Kyligence Robot把这一切自动化起来,使用AI减少人工诊断和优化的代价,主要包括:

  • 故障诊断:使用机器学习算法和规则引擎,通过日志分析对故障和性能瓶颈进行定位,并结合知识库等给出建议
  • 模型优化:基于一套智能建模与调优算法,发现模型设计的缺陷,并给出优化建议
Photo of Dong Li

Dong Li

Kyligence

Dong Li is a technical partner and senior software architect at Kyligence. Dong is also an Apache Kylin committer and PMC member and the tech lead for KyBot. Previously, Dong was a senior software engineer in the Analytics Data Infrastructure Department at eBay and a software development engineer in the Cloud and Enterprise Department at Microsoft, where he was a core member of the dynamics APAC team, responsible for developing next-generation cloud-based ERP solutions. Dong holds both a bachelor’s and master’s degree from Shanghai Jiao Tong University.