打破“数据孤岛”,实现数据湖探索的秘诀是什么?

同学们大家好!今天我们邀请了华为云大数据探索专家——DLI博士,来聊聊打破“数据孤岛”,实现数据湖探索的秘诀是什么。

1.PNG

2.PNG

3.PNG


博士敲黑板中

今天我们从简单易懂的小例子来了解我们的数据湖探索。首先我们来问问大家,什么样的数据才有价值?

4.PNG

我们单独看一个三角形,我们不知道它有什么价值,当我们连起来看的时候,我们会发现X这位用户他的身高160cm、体重50KG,这组数据就有了价值。

5.PNG

现在,我们又有了X用户的相片、视频数据。我们希望将X用户的基本信息与他的相片、视频内容联系起来做运营分析。数据工程师需要从两个不同的数据库中,分别调取。而每一个数据库都是一座数据孤岛。

 

我们数据湖探索有一个特色功能:异构数据源联邦分析能力。仅用标准SQL,就可直接调取X用户完整的信息。

 

在市场竞争越来越激烈的情况下,无论是运营、市场还是数据分析师,他们希望看到越来越综合的数据表达,比如越完善的用户画像。


经过2年多实践的考验,我们DLI服务了不同领域的用户,包括游戏文娱、汽车服务、金融零售等,解决了他们在数据分析处理时遇到的瓶颈。


数据湖探索(Data Lake Insight,简称DLI)是基于Apache Spark生态,完全托管的大数据处理分析服务。企业使用标准SQL或Spark程序就能轻松完成异构数据源的联邦分析,挖掘和探索数据价值。