-
体验华为云GES图引擎服务一,帮助文档https://support.huaweicloud.com/productdesc-ges/ges_04_0002.html因为是小白用户,首先第一步先了解了一下华为云的GES文档。个人看法:(可能对于小白用户来说,确实需要这些)1.觉文档更注重的是,产品介绍,产品如何购买,如何操作访问,监控等。2.在算法方面只有几个帮助方法,感觉不够详细。(专业人员估计不需要此类的帮助)3.把视频帮助也看了一遍,对于小白用户来说,这个视频帮助比文档大。4.最好在帮助文档上,增加更多帮助资料二,购买1.用过程中GES服务可用区域太少,目前只发现只有北京一区,北京四区可购买2. 在导入模板数据,类型选择本地/osb的时候,这个选择文件路径的提示并不明显,而且如果没有创建obs的话,应该提示创建,对于小白来说,这个暂无表格数据的提示,真的不明白。三,控制台1.在购买完成后,到达控制台页面,使用过程中,感觉页面流畅度,刷新,有轻微卡顿。2.元数据管理-创建(此部分感觉需要专业知识,所以就截个图)https://support.huaweicloud.com/usermanual-ges/ges_01_0048.htmlhttps://support.huaweicloud.com/usermanual-ges/ges_01_0044.html创建需要太多格式属性,小白初次使用操作不过来,所以还是使用此次体验的数据来操作。3. 备份管理感觉备份管理这个功能有点不完善,备份时候没有一些明确的标识来确定我此次备份的数据,内容/图标是用来备份什么作用的,这样带给用户的体验是非常不好的,不能明确知道此次备份的作用,视为不可靠。就算需要还原备份,也不知道此次备份有什么用,达到什么还原目的。4. 云监控在图引擎服务GES里的控制台是没有直接查看监控的菜单栏的,是否可以在左边添加一个链接,直接跳转到云监控整个监控都在云监控里达到统一管理四、分析与查看1.每个图标的访问入口,直接明了,没有什么说的,是个人都看得懂2. 进来,点击运行后,一瞬间有了密集恐惧症,但是总体来看,整个web页面功能还是挺完善左:图分析算法 右:条件过滤,查看属性下:Gremlin命令查询 :运行记录,查询结果(json格式)中:图显示及图布局格式调整等等3. 在操作查询时候,遇到一些页面显示不全的情况在查询中文名字的时候,得出的查询结果并看不到全部信息,而且导出的图片也如web页面显示的一样,看不到全部信息,尝试无论是 拖动节点还是放大,缩小,也显示不全,建议增加一个可以查看筛选后的节点能看到所有信息4. 尝试了其他算法,都能得出想要查看的情况,整个图标简单明了,每个节点与每个节点的关系,是否与之有联系等等,都能查看的出来5. 整体下来,对于初次使用的小白用户来看,还是很方便的,对于业务来说,帮助很大五、体验需求的建议填写需求建议:①是否容易上手,图查询页面功能,查询组合是否合理;1. 创建,购买方面很方便,不足之处在于obs创建哪里没有特别提示2. 页面查询功能非常好用,增加条件过滤,在结合图表,很容易得出自己想要的结果 ②对性能,产品算法,可视化界面等有什么建议;1. 建议在图管理里增加帮助页面,如点击进去页面会弹出一些帮助体验的提醒,作为小白用户,首次点击进去很无奈 ③想要进行哪些实际场景上的关系分析,希望图引擎应用在什么关系场景分析;1. 想在电商平台上进行操作把,比如分析某个用户与之关系的用户购买了那些,推荐信息,达到这个用户能更好的购物体验 ④使用过程中有哪些不好的体验,是否出现卡顿,宕机,程序无反应等情况;1. 使用过程中,刷新页面加载稍微有些反应慢,如创建,查询,运行操作后刷新页面 蓝志飞 华为云:Vv1996 微信:Vv 2019年8月25日
-
各位大佬好,新的一期GES图引擎服务产品体验上线了,很荣幸能有这次体验机会参加本次体验官活动,因为本人对GES图引擎没有具体的使用经验,所以本次体验报告就从产品本身的易用性等方面来进行阐述体验感受。使用体验首先体验之前先到GES图引擎官网主页进行产品的了解,查看相关说明,以方便后续的体验和使用。官网首页分三个部分,第一部分介绍产品的优势第二部分介绍产品的应用场景,说的比较详细,对于我这样没有使用过的小白来说还是可以看得懂的第三部分,通过视频演示图引擎服务所适用的场景,整体演示效果比较饱满,炫酷,我个人比较喜欢这种风格,同时也把图引擎的功能在演示视频下方进行了简洁的罗列,不错,喜欢。值得点赞的是,在图引擎GES产品的购买主页上的购买产品按钮旁,还有快速入门、论坛和培训课程三个按钮入口,我都一一进行了点击,快速入门的页面类似于详细的帮助文档或者帮助使用手册,对整个图引擎产品的使用、配置、运行、结果答应输出都做了详细的介绍以及图片指引操作,这一点非常好,对初次使用的人员有非常友好的讲解和帮助,点赞;更值得点赞的是培训课程入口,点击课程培训按钮进入页面,会出现华为云学院的图引擎服务的课程,并且该课程是免费的,果断报名参观一下,哈哈,进入后课程总共分为五个部分,基本上涵盖图引擎的所有内容操作以及简单的讲解,视频来源于华为云学院,我也是华为云学院的忠实粉丝,多次参与课程的学习,非常值得推荐哦。话不多说,进入图引擎服务产品的使用购买流程,如上图,先要购买OBS桶服务。购买界面虽说不是第一次看到了,但是不得不说一句现在的购买页面和最初的体验时相比,已经优化简洁了很多,白底蓝色的配色让人使用的时候不会太疲劳,很舒服。各个点标注和提示都做的很好了,交互简单,提示准确,页面交互很流畅,点赞。OBS桶服务购买完成后如上图,会对当前桶的概况数据信息进行一个罗列展示购买完OBS桶服务就需要购买虚拟私有云服务,同样也是体验过很多次了,点赞。做完上述两步,现在需要将自己准备的元数据或者图引擎的模板数据文件上传到刚刚创建的OBS桶服务中,因为图引擎是从私有云调用OBS服务读取元数据的,比较简单,通俗易懂。点击购买图引擎GES服务的按钮,会跳转到如上页面,在购买的时候必须要配置关联到自己的虚拟私有云服务和对应的OBS服务,不然无法购买;个人建议可以在购买页面的必选项的说明中加入简单的介绍告知购买者为什么要买虚拟私有云和OBS以及两者和GES产品的关系,这样对使用者来说会更加的友好。购买确认页面,产品中包含的服务信息以及收费方式罗列的很详细,一目了然,不错。购买成功的界面,建议可以自动跳转回任务中心或者刚刚购买的服务控制台页面。购买成功后,需要等待图引擎GES服务启动,等待过程大概8分钟左右任务中心的页面中存在一些超链接的字段,但是这些字段却没有实际的点击效果,只有鼠标移入移除的显示效果,个人觉得这里可以修改一下。图管理页面,购买后请耐心等待,服务初次启动需要大约八分钟左右的时间,会有进度百分比显示,这点还是比较人性化的,点赞初次进入图引擎服务的页面,其实是这样的一块白板页面,让人有点手足无措,个人建议这里可以像手机上初次进入APP的时候有一些遮罩层的操作提示指引,以便初次使用者进行更好的体验操作不过幸好我是个机智的小伙伴,我事先就查看了快速入门的操作指南,还是知道怎样操作的,哈哈,不过这个地方还是建议做的交互更友好点刚使用的时候呢,犹豫自己是个小白,不知道这个souce字段需要填写什么,点击后面的问号提示显示的指定节点,我也不知道节点是什么,就胡乱填了个内容,发现运行算法是失败的,最后思前想后,才知道是需要填写元数据中的每个节点名称,这个地方我还是建议把说明做的更加详细一点,做成弹窗也可以非法输入的提示也只有不允许为空而已,这个提示其实对于初次使用的小白来说是不友好和不准确的运行快速入门中的初始操作命令行的命令后得到的效果,发现图层界面其实应该是运行底下控制台窗口的大小调节的,但是只发现了个收起箭头按钮,鼠标移动到边界拖动实际是没有调节大小的效果的,这点需要指出修改哦。运行的命令行窗口以及结果查看窗口在不能移动调节大小的情况下,实际上是不能完整或者比较详细的展示运行结果数据的,因为结果数据是json格式的,上下滚动非常不方便,好在支持导出功能。导出的运行结果文件,为.json后缀的文件,打开后还是保存了原始格式的,还不错。PageRank算法运行结果PersonalRank算法运行结果k核算法(k-core)运行结果k跳算法(k-hop)运行结果最短路径算法关联路径算法紧密中心度算法标签传播算法Louvain算法关联预测算法Node2vec算法实时推荐算法共同邻居算法单源最短路算法 综上总结使用图引擎GES服务的使用运算界面,各个算法清单罗列的比较详细简洁,但是有个弊端,就是一对于我这样的初次使用者来说,对于罗列的算法其实并不了解,打开各个算法的详细页面后,只会提示各个算法需要的参数以及参数填写的提示,但是对于我来说,我连算法本身都不理解或者没有一个整体的说明,填写了参数也只能对应着图形界面的变化自行体会,理解上是非常不友好的,希望能在后面加上各个算法的讲解和参数的实际作用变化讲解,这样这个页面会在使用过程中对使用者有很大的帮助; 另外,希望能在控制台下面增加各个结果的分析以及结果说明,不仅仅只是结果数据的展示,这样对使用者来说会更有帮助,使用起来也能事半功倍。最后就是退出图引擎服务后看到的总览页面,通过图形化界面结合实际的数据以及简洁的文字说明,反映出图引擎服务的运行状态,个人很喜欢这个风格。 结语:整体上对图引擎GES服务产品进行了一轮整体的体验,虽然体验有限,但是通过一次次的体验,深切的感受到华为云产品的更新与优化,每一次都是一次新的变化和提升,支持华为云,为华为云点赞!!!
-
体验官体验华为云GES图引擎服务体验及评测报告 一、使用体验1、简洁概括在没有体验这个服务之前,其实对图引擎的概念还只停留在认知层,对于此产品为小白一名,通过体验知道了这个服务的用法与应用场景,的确图引引擎服务能更加直观的来表达数据之间的关联,支持大量的算法来协助进行数据的挖掘与分析。不过不知这个服务对资源消耗上是不是会更大,毕竟是图的形式进行的展示,对本地的计算机性能是否有影响对算力的要求是多少可以给一个评估。这个服务体验下来感觉十分不错,尤其其丰富的算法资源以及算法的快速响应是最值得称赞的,相信到华为在AI方面的推理第一,算法第一。2、操作步骤1)、数据上传从体验EI企业智能中的ModelArts到GES再到之前使用华为云IaaS资源,这些服务配套的全用到了华为云的OBS。而现在OBS的功能也越来越完善,支持的场景也越来越多。这回同样是要把相应的数据上传到OBS中。2)、开通GES服务点击立即购买,首先准备的也是常规的VPC、子网、安全组、公网IP(可选)。这里要注意的是要提前确定元数据。可以用已经上传至OBS中,也可以根据自己的需要下载模版。这个模版建议在别的服务中也可以加上,做为不了解某块业务的一个参考,可以加深一下理解。然后就等待服务的运行状态至运行中。点击访问就将进入一个神奇的地域。 3)、使用GES服务访问GES服务后就进入到了GES的主界面,整个界面中最左侧是一些算法,当然这些算法需要自己去学习了解,之后才能熟练的使用达到事半功倍。最下面就是我们进行Gremlin命令查询的位置。在用Gremlin时会有相应的命令提示,这点很不错。 进行一个算法的尝试,PageRank算法(又称网页排名,是一种由搜索引擎根据网页(节点)之间相互的超链接计算的技术,用来体现网页(节点)的相关性和重要性。),可以非常方便的进行参数的输入来查看结果。 可以根据自己的需要进行更细致的查询,来寻找元素之间的关系。 但是在我在全图数据中,进行筛选时,没有出现关联元素,不知道是不是我的用法不对。然后点叉之后并没有办法回到上一状态。 算法的执行方面都很快,这个给个赞,后台一定有大量的算力在进行着有效的支撑。在执行完算法以后,在界面中选取某个元素或放大缩小时,会出现明显的卡顿现象,不知道这个是否和本地计算机性能有关,这个是否可以做点优化,来提高交互效果,同时我在进行别的算法使用时,最右侧的属性没有伴随着发生改变。建议在没有选择元素时可以清空显示。 计算过程希望可以进行保存或者可以直接导出。 回到总览界面可以看到一些数据的统计二、需求建议1、在进行图中元素选择时会出现卡顿,不知道是受什么方面的影响如网络,本地计算机性能还是?2、在进行Gremlin命令查询进是否可以进行历史命令的重复使用,设置快捷键重复以前命令。3、想了解下后台的计算资源,在服务不断加大,如点、边不断的加多,模型的复杂度也不断变难时,约束服务的瓶颈在哪好提前做好模型或者资源的优化。4、计算过程希望可以进行保存或者可以直接导出。5、建议在总览界面上加入一些费用情况,如哪些服务正在产生费用,可以及时的进行停掉。三、满意度及推荐度对华为的产品一直都是十分满意的,尤其华为在AI方面的投入,相信华为是有自己的能力把每一个产品做到极致,如果有别人有这个场景的需求时一定会主动的推荐使用,建议这个服务可以出点在线体验的场景,方面大家对服务的理解。也拓宽服务在业务中的拓展。以上为这次体验的一些体会,希望各位专家批评指正。 付健权华为云ID:fjqusn 微信昵称:@~@2019年8月23日
-
评测报告内容 -小白型用户1、使用体验:从最开始接触使用图引擎到最后操作完毕,请简短概括一下您的使用体验 简单的体验使用感觉还是非常酷炫的。感觉有很多图形和各种关联的关联就这样用连接线来互联起来了,感觉非常的高级的感觉。就是一下子可以知道每个元素之间的关系,虽然需要慢慢去看清楚,但是华为云的GES可以全给你整理出来关联了,剩余的就是你查询你想看到的关联关系就好了;让工作一下子真的解放了非常大;并且个人非常喜欢图形的操作界面;2、需求建议:①是否容易上手,图查询页面功能,查询组合是否合理; 挺容易上手的,个人觉得查询也是足够合理的了,暂时没有增加的地方;如何快速上手方面,可以看一下上门的图,建议给多几套快速上手的元数据经典案例(以及配套的边数据集、点数据集等),就是保证我有元数据等数据可以快速导入进入做实验,还有操作手册;甚至最好有可能的华,推出几期实战活动,大家一起学习、一起讨论也是非常好的选择;②对性能,产品算法,可视化界面等有什么建议;1- 建立一个元数据市场(以及对应配套的边数据集、点数据集等)可以免费分享的模式,让大家一起学习或者收取一定费用; 2- 有一些元素的关系是否也能支持把他们形成表格导出的呢?比如我查到一些节点的关系的时候,我想导出一部分的表格内容;深圳我只是想导出图像,方便我们技术组讨论的时候打印出来,然后做小组的讨论;③想要进行哪些实际场景上的关系分析,希望图引擎应用在什么关系场景分析; 比如我深圳地铁公司使用了大数据存储,如何把这些数据导入到图引擎去做关系分享呢?比如分线住地铁站附近的人有什么消费习惯,如何引导地铁站附近进去的人方便他们找到所需要的衣食住行呢?④使用过程中有哪些不好的体验,是否出现卡顿,宕机,程序无反应等情况;就是我停止了一下,图管理,然后再次启动,感觉好慢,再次启动跟差不多重新建一个时间差不多了,搞不懂为啥启动那么慢,还以为卡住了,以为要提工单了呢?3.满意度及推荐度:当自己的项目或是公司有关系分析挖掘应用的需求时,是否愿意自己使用或推荐身边的同事朋友使用华为云GES服务?什么原因促使你做出这个结论?非常愿意 原因有:1-最近华为总裁任总对待美国总统的制裁表现出的高人智慧,从而觉得华为是一个非常厉害的企业,美国总统真的给华为打了一个非常好的广告,2-其他的云有各种的资本,华为还是不上市的,所以中美贸易站,我支持华为云;3-用了一段时间的华为云了,感觉华为云也是非常靠谱的,售后服务非常快,就算我使用了一元钱的产品,都有技术大神很快打电话过来服务,这个是什么的工作精神呢?我只能说我服了华为云的狼性。梁宇(华为云ID:andyleung 微信昵称:city hunter)
-
本期【云享专家·微话题】由云享专家 Mr.FangYang 与大家一起探讨“图数据和图计算”,希望大家能够畅所欲言。如果大家有其他相关的问题,也可以在本帖回复直接咨询云享专家 Mr.FangYang 。=======【云享专家·微话题】图数据和图计算 =======“六度空间”理论或许很多人都听说过,即最多通过5个中间人你就能够认识世界上任何一个陌生人,或许觉得不可思议,但却越来越被证明其正确性。如今,随着5G和IOT的飞速发展,万物互联的智能世界正在逐渐的形成中,一个个的信息孤岛被打破,数据得以汇聚,并得到爆发性增长,万物之间的关联关系越来越紧密,也越来越复杂。如何从海量关系数据中挖掘中更有价值的信息,从“万物互联”到“万物感知”,再到“万物智能”,是图计算一直以来研究的方向。图计算可以从海量的社交关系、丰富的信息传播、庞大的通讯网络、年年破记录的订购记录里,找到属于你心中的那个“陌生人”。 其实很多人在生活中无时不刻的在接触图(关系)数据和图计算,今天我们一起来讨论,希望看到大家精彩的评论:1、讲讲你生活中有哪些数据是典型的图(关系)数据结构?2、讲讲你所接触过的或听说过的图计算的典型应用场景?3、讲讲你所知道的,相比于关系型数据库,图计算技术在处理关系数据上的优点。4、讲讲你所用过的图数据库或者图引擎,以及对TA不满意的地方?微话题活动:参与本次微话题讨论,有机会获得优质评论奖活动时间:2018年8月27日-9月9日参与方式:直接在本帖回复你关于以上4个问题的理解或评论获奖方式:活动结束后,将由云享专家 Mr.FangYang 选取出3名优质评论奖,各送出《图论》书籍1本。优质评论:zenstar:1、讲讲你生活中有哪些数据是典型的图(关系)数据结构? 地图、互联网(节点是网页,连接是超链接)、电路、任务调度(工序的先后)、商业交易(买卖信息)、高考填志愿(匹配配对)、有线/无线网络通信、社交网络。 2、讲讲你所接触过的或听说过的图计算的典型应用场景? 1)优先级限制下的任务调度问题(选课) 给定一组任务并安排它们的执行顺序,限制条件是这些任务的执行方法、起始时间、耗时、消耗的资源等一个或几个,其中最重要的限制是优先级限制,它指明了哪些任务必须在哪些任务之前完成,不同类型的限制条件会产生不同类型不同难度的调度问题。 比如对于一位大学生,专业有培养计划,培养计划中的课程为该大学生毕业所需要修读完的,其中某些课程是其他课程的先导课程,比如《微积分》是《常微分方程》的先导课程。为了毕业,就要合理安排课程。 这里可以用有向图来建模这个问题。顶点对应任务,有向边对应优先级顺序,并且把课程名称用整数的顶点编号表示。那么这时候优先级限制下的调度问题就等效为了拓扑排序问题。先检测是否有有向环,若有,则无法进行拓扑排序(如果有两门课互相作为彼此的前置课程,那这两门课都别想学了...),再使用拓扑排序算法解决问题。 *拓扑排序:给定一个有向图,将所有顶点排序,使所有有向边均从排在前面的元素指向排在后面的元素(或做不到)。 2)从汇率市场中套取利润 每个货币看做是一个顶点,边对应汇率,边的权重认为是具体的汇率值,比如美元兑人民币的汇率目前是6.8321,对应权重为6.8321。如果要执行人民币换美元的操作,最直接的就是通过人民币/美元汇率兑换相应的美元,也可以先将人民币兑换成欧元,再兑换成美元,当然中间可以增加更多环节,也许其中的某一种兑换流程可以获得比其他流程更多的美元。对于汇率市场这个加权有向图来说,找到最优的兑换路径相当于找到从人民币到美元路径中哪条路径对应边的权重之积最大。手持1000人民币,直接换美元能拿到146.37美元,但也许存在一条换汇路径,可以获得147美元,这样就获得了最大的收益。 当然有一种特殊情况,就是将起点和终点设置为同一点,如果存在一条路径,所有边的权重之积大于1,那么就能通过这样的操作获得获得更多的人民币。假设权重积为1.003,那么1000人民币变成了1003人民币,如果本金大、快速多次进行这样的操作,那么获得的收益非常可观。当然这里简化了很多诸如手续费、交易金额上限等限制,实际中的操盘者在建模中会充分考虑到各种因素,进行套汇计算。套汇在国内是违法的。 参考资料:Robert Sedgewick, Kevin Wayne, Algorigthms (4th **).3、讲讲你所知道的,相比于关系型数据库,图计算技术在处理关系数据上的优点。 1)图计算技术表达能力强,适合表达多种复杂关系、支持丰富语义。传统的关系型数据库,在处理1对1或者1对多的数据问题上较得心应手,但在当前大数据的背景下,多对多的数据非常常见,这个时候图计算就体现出了表达丰富、扩展性强的优势。 2)图计算在大数据量下能够更快速高效地挖掘数据间的潜在关系。首先针对快速的多跳关系查询,关系型数据库随着跳数增加,查询性能大幅下降,甚至无法完成给定任务。而基于图引擎的技术,可以在跳数增大后仍保持较好的查询性能。另外在并行计算能力上,图的并行也更优于传统的数据并行。4、讲讲你所用过的图数据库或者图引擎,以及对TA不满意的地方? 很遗憾,我只用过华为云GES图引擎服务。由于自己是一个电气工程的研究生,对图计算仅停留在算法学习中涉及到的浅层的图知识上,只能从一个业余者的角度来评价一下GES。首先整个GES界面非常清爽干净,功能齐全且布局合理,在我执行Gremlin示例语句的时候,这种可视化、可互动的数据呈现让我大开眼界,心旷神怡。当然,也有一些美中不足的地方: 1)图例显示不全,每个条目的下部都有少量被遮挡,可能是由于浏览器兼容的问题。对于初学者可能看的时候会费劲些,对于一些商业用户来说就会影响到他们的使用体验。 2)算法运行过程中较容易出现卡在“等待运行”的问题。也许是因为本人浏览器和电脑性能的缘故,但是还是希望能够优化一下平台,或者提供一个浏览器或者配置的建议供用户参考。Pingoo:1. 讲讲你生活中有哪些数据是典型的图(关系)数据结构?除了生活中常见的社交、链路引用关系、知识图谱、路网管网、组织结构等,另外生物中:生物谱系、亲缘关系医学中:大脑连接、病理病因因果图,蛋白质相互作用图化学中:高分子结构等等这些都是图数据结构。注,图片来源网络 2. 讲讲你所接触过的或听说过的图计算的典型应用场景?节点分析:网页、人物、论文等重要性排名,关系分析:社交、电商等场景下:层次关系查询, 好友、商品推荐 故障诊断、根因分析 知识图谱中:知识推理、知识消歧图层面的分析:社群分析、蛋白质高分子分类、3D视觉分类等等 同时,由于图的本身强大的表达能力、高效快速的计算模式,对于现实生活存在的数据高纬稀疏、数据异构、数据量庞大、数据动态变化等场景,相较于一般常用分析技术手段具有天然强大的优势,同时可解释型强。引用自MIT林肯实验室论文注: BLAS:Basic Linear Algebra Set基本线性代数集 GraphBLAS:基于图的Basic Linear Algebra Set 3. 讲讲你所知道的,相比于关系型数据库,图计算技术在处理关系数据上的优点。 表达能力上:图计算 (N:N的关系表达) VS关系数据库 (1:1或1:N的关系表达) 图计算擅长表达多种复杂关系、支持丰富语义,支持异构、稀疏型、时空等复杂性数据表达,表达能力强,使用场景丰富分析能力上:图计算(多层潜在关系查询、关系推理、时空分析、知识图谱,具备节点、关系、图等多层面上的分析能力) VS关系数据库(简单的查询...) 数据更新能力上:图计算(实时增减点边关系能力)VS 传统关系数据库(多表的Join,新增类型重新设计) 图计算更新便捷、支持实时的数据更新 性能上:图计算具备快速的多层潜在关联关系查询能力、图形并行计算能力,在大数据量下可以做到实时分析,快速高效4. 讲讲你所用过的图数据库或者图引擎,以及对TA不满意的地方? 本人使用比较多的图计算工具,如PowerGraph、igraph等,只能进行单纯的计算,不支持属性图查询管理,采用“一次load图进行一次分析”的离线式分析方法,无法进行在线分析,不具备查询分析一体化能力,交互能力弱。华为图引擎服务GES提供的EYWA图计算引擎是目前少有的能够同时支持图查询与图计算分析、支持标准查询接口和gremlin标准查询语言,具备比较好的可视化、交互能力,大规模图计算性能较好的图计算引擎(如果你正在纠结选择哪一种图计算产品,华为的Eywa图计算引擎道是不错的选择)图计算领域专家夏应龙曾经在”从图引擎平台技术,看华为云EI的决心和野心”一文中,结合华为图引擎平台EYWA的选型诞生历程,从多角度客观分析了目前主流的图计算优劣,这里摘选部分,整理如下:Neo4j、Titan等:擅长于图数据的实时查询,但并不能高效地对图数据进行离线分析; 具备数据持久化能力,但在数据量大的情况下性能剧烈退化且分析功能较弱Turi、GraphX:侧重图数据的离线分析和挖掘,却不能对属性图进行管理,且不支持实时查询Pregel、Powergraph和GraphX:不能有效支持在线分析和查询扩展。 华为云图引擎在技术上做了如下创新及优化:分布式优化Parallel Sliding Window(PSW)的图计算框架,高效加载图数据,以满足业务大规模的计算需要;兼顾图计算与点查询效率,开发基于边集流(edge-set)的块状数据组织以合理组织数据;通过边集合的prefetch策略来隐藏磁盘的IO操作以及松弛的BSP模型来隐藏通信IO,从而提升性能;建赟:一、讲讲你生活中有哪些数据是典型的图(关系)数据结构?生活中常见的图数据结构像Facebook和Twitter这样的社交网络,其数据天生就适合于图表示法。诸多典型的大数据应用易于通过图来进行建模,如交通网络、CDR通话图、用户与产品之间的二分图、论文中作者之间的合作关系网、文章之间的索引关系、金融交易网络等等。二、讲讲你所接触过的或听说过的图计算的典型应用场景?图计算的英文名为Graph Computing,主要通过对于海量数据的关联和关系分析,形成知识及知识图谱Knowledge Graph。简单来说,人工智能想要理解世界,就要对整个现实世界有一个客观、完整、全面的认识,图计算能够把任何事物之间的所有关系全部刻画出来,形成完整的描述,这就是知识。例如在金融欺诈预测中,通过每个人的金融交易信息,构建和分析其交易关系网络和社交网络等关系网络,再根据这些资金交易关系网络发现个体或者群体是否存在异常的交易行为,这样一来就能轻松检测出这个人有没有参与洗钱的活动。 图计算技术的应用场景1、互联网应用场景特点:数据量大,增长迅速,数据类型丰富,实时性要求高典型应用:好友/商品/资讯推荐、异常行为分析、舆情/社会化聆听2、知识图谱应用场景特点:基于知识实体的多跳查询,同义词/近义词较多,同时需要具备较好的可解释性。典型应用:智能问答、知识消岐、学习路径推荐3、金融风控应用场景特点:数据类型丰富,但不完整,需要具备一定的推理分析能力典型应用:实时欺诈检测、失联人员追踪4、城市工业应用场景特点:数据量相对较小且实体、关系数较为稳定,但数据更新频繁,侧重于全局分析。典型应用:管道压力调节、城市路网调控5、企业IT应用场景特点:连接层次较多,环境约束复杂,分析过程需要自动化,同时需要一定的可视化能力。典型应用:路径规划、根因关联分析、基础设施管理三、讲讲你所知道的,相比于关系型数据库,图计算技术在处理关系数据上的优点。 几十年来,人们都是利用关系型数据库进行数据存储和数据处理的,但是面对如今的大数据时代,数据之间的复杂度大幅度增加,数据之间高度关联,数据具有极强的动态性,对这种大体量、关联复杂的数据的洞察需求也日益迫切,数据之间的关联洞察成为探查数据价值的重要方面和未来赢得竞争的优势。图计算技术就是应对这样纷繁复杂时间的有效技术:图由节点(即实体)和边(即实体之间的关系)组成,目前在物联网、通信、互联网、金融以及社交网络等领域已经积累了庞大的图数据,并且还在不断增长。传统的基于关系型数据库来处理关联关系的技术手段和计算模式都无法满足这样的需求:关联查询效率低下,代价高昂。我们需要的是在一个问题域中的关系的完整刻画,并且具备丰富的、高效的和敏捷的数据分析能力。因此,基于节点和边的方式存储和计算的图数据库,能够建构任意复杂的网络和模型,完整形象地映射我们的问题域。 图数据库由于采用原生图存储,因此在处理关联数据方面具有很强的性能优势,可以从“分钟级”达到“毫秒级”。另外由于图数据的结构是完全动态的,因此数据的添加和删除,即数据的变更将变得异常灵活和简单。第三,图数据是schema-free(免模式)的,可以依赖图来断言和检验之前的数据建模和业务规则。四、讲讲你所用过的图数据库或者图引擎,以及对TA不满意的地方?未来的世界是数据驱动的世界,而数据潜力的发掘在过去仅仅是发生在表层。图数据库和基于图的认知技术可以帮助人们了解数据之间的关联、洞察数据背后的含义、进而充分发挥数据的价值。无论是应用在社交、互联网还是金融行业,图数据都可以帮助我们解决复杂的商业问题,构建企业在未来大数据和人工智能时代的核心竞争力。 对整个图计算领域可进一步细分为查询分析、计算引擎、存储管理、可视化等子方向。目前并没有一种涵盖所有子方向的图引擎。例如图数据库Neo4j、Titan等擅长于图数据的实时查询,但并不能高效地对图数据进行离线分析;分析引擎Turi、GraphX侧重图数据的离线分析和挖掘,却不能对属性图进行管理,且不支持实时查询。 同时,图计算领域也面临大数据环境下带来的巨大挑战。就当前的社交网络而言,对全网做查询分析就意味着对数十亿节点(人物)数百亿边(关系)的大图进行操作。而规模更大的互联网、物联网可达到百亿节点千亿边甚至以上。在如此巨大数据量的情况下,实现高效高并发的查询是当前一大难点。 一方面,鉴于图数据结构的稀疏性,并不能通过GPU等硬件手段上取得很好的加速。 另一方面,图的局部性也有别于传统机器学习系统的数据组织形式。比如:社交网络中一个人的平均好友数达到数百,那他的2度好友就会达到数十万之多,于是探索一个人ego-net(对图中某节点做扩线查询得到的子图)往往会遍历上千万甚至更多条边。 在多机环境下,这些边往往分布在不同的机器上,进一步增大了遍历的难度。此外,随着数据复杂性的增加,节点和边往往带有属性信息。这些信息既可以是固有属性(如年龄、性别等),也可以是计算得到的结果(如介数中心度、pagerank值等),这些计算结果往往又是下一次查询的输入。属性管理与交互式计算查询,是图领域的另一大挑战。
-
本期体验产品: 华为云GES图引擎服务本次体验采用有奖征集体验评测报告+群内互动交流反馈的形式。首先从体验官社群中招募20人,体验产品并输出产品体验评测报告。报名成功的体验官,我们会在您的华为云账户中发放100元产品代金券,用于本次体验。本期体验活动报名链接将会发布在“华为云产品体验官微信群”。因本期体验产品资源有限,请各位体验官务必确定可以有时间参与本次体验再行报名。报名成功后产品代金券会在24个小时内发放到您的华为云账户中,代金券发放后会在群体验官内通知各位,并指导各位使用代金券购买体验所需云产品及云资源。请各位及时参与体验,并按照要求输出体验评测报告。8月28日 16:00前,代金券未使用完的部分,将会进行回收。我们会按照评测体验维度、深度、意见建议等方面,从中筛选出15-20份高质量体验报告,给予礼品奖励。60年前后悔没参军,30年前后悔没经商,10年前后悔没买房明年,后悔没用GES图引擎。丰富的算法+酷炫的可视化=极尽愉悦的使用体验!中肯的意见+有深度的体验报告=100%中奖率!☆奖品设置如下☆优秀测评体验报告奖:3名奖品:雷柏(Rapoo) V500PRO 机械键盘高质量测评体验报告奖:5名奖品:华为小天鹅蓝牙音箱体验评测报告激励奖:12名奖品:心形透明鼠标垫手枕☆产品体验评测报告内容要求☆体验评测报告内容需要包含以下维度:体验评测报告内容需要包含以下维度:本次体验活动建议选择GES2.1.9版本(后续版本更新之后变更),请各位体验官根据自己对图计算的经验,聚焦图,使用图,计算图,并在最后给出具有深度的优化意见。规格建议创建一万边的图,测评报告需包含以下维度。评测用户小白型用户:无开发经验,对图数据库以及关系分析感兴趣的学生及用户。普通开发者:有程序基础,业务场景涉及关系分析,关系挖掘等需求,如社交媒体,电商推荐,金融风控,知识图谱等场景的开发者专家型用户:从事图数据库相关工作,拥有图数据库的开发,运维经验的工程师或者架构师,使用过关系型数据库或者图数据库Neo4J、Hadoop、JanusGraphArangoDB、OrientDB、FlockDB、GraphDB、InfiniteGraph、Titan、TigerGraph、Cayley其中一种或几种。评测报告内容1、使用体验:从最开始接触使用图引擎到最后操作完毕,请简短概括一下您的使用体验2、需求建议:①是否容易上手,图查询页面功能,查询组合是否合理;②对性能,产品算法,可视化界面等有什么建议;③想要进行哪些实际场景上的关系分析,希望图引擎应用在什么关系场景分析;④使用过程中有哪些不好的体验,是否出现卡顿,宕机,程序无反应等情况;3.满意度及推荐度:当自己的项目或是公司有关系分析挖掘应用的需求时,是否愿意自己使用或推荐身边的同事朋友使用华为云GES服务?什么原因促使你做出这个结论?Gremlin的基本操作:参考材料;参考博客;TinkerPop 体验过程及评测报告中可参考的竞品1.腾讯云-知识图谱SKG星图2.阿里云-图数据库 GDB3.AWS-Amazon Neptune4.Apache-Hadoop (Spark)体验评测报告交稿时间:8月28日 14:00前,请报名评测的体验官将评体验测报告发帖上传到华为云社区开发者交流论坛中。并同步微信告知小助手(微信:hwyxzs)微信号。9月5日 16:00前,群内公布获奖体验官名单及奖品。体验报告发帖地址:开发者交流区https://bbs.huaweicloud.com/forum/forum-557-639-1.html评测报告字数不少于1000字,可图文并茂,并在落款标注姓名和群内昵称,以便评奖时使用。☆华为云GES图引擎使用指南☆华为云GES图引擎服务使用指南以下内容帮助用户图引擎服务的基本操作,开始当下最热图计算的使用,了解人工智能领域最前沿的“车联网,深度学习,智能客服,语义搜索,智动驾驶”等领域的使能技术,开始智能世界的关系分析之旅,亲手实践图计算的神奇和强大1.大家可用PC点击下方链接,进入华为GES服务主页面,点击“立即购买”进行产品购买。https://www.huaweicloud.com/product/ges.html 2.先购买OBS桶资源,上传数据集到自己的OBS桶,具体操作见用户指南操作指导元数据管理https://www.huaweicloud.com/product/obs.html3. 进入图引擎服务管理控制台,单击“创建图”。进入创建图页面,根据自己的需要填写参数和图的资源,并确认规格购买https://support.huaweicloud.com/usermanual-ges/ges_01_0066.html4. 在图管理页面,选中需访问的图进行访问,进入图编辑器页面,您可以在此页面使Gremlin遍历图对当前图进行查询,并使用二十余种图计算算法进行图的分析。https://support.huaweicloud.com/usermanual-ges/ges_01_0009.html5.GES测评指导:参考视频内容中图查询的基本操作,使用图算法进行图计算分析,并在结果展示区和画布输出结果,请根据自己感兴趣的方向进行不同的计算和遍历查询。https://education.huaweicloud.com/courses/course-v1:HuaweiX+CBUCNXE008+Self-paced/courseware/3f8fda9f85494a77b85a0a2ad10e9070/0ab975e6697f477687549c00cdc6f958/Gremlin的基本操作:参考材料;参考博客;TinkerPop ☆如何报名活动☆请先填写报名表单,报名成为华为云产品体验官。报名成功后,小助手会添加您的微信邀请您进入华为云产品体验官群后续产品体验通知会在体验官群内发布~ 产品体验官可免费参与产品体验并获得相应奖励 扫描二维码,填写报名表
上滑加载中
推荐直播
-
华为AI技术发展与挑战:集成需求分析的实战指南
2024/11/26 周二 18:20-20:20
Alex 华为云学堂技术讲师
本期直播将综合讨论华为AI技术的发展现状,技术挑战,并深入探讨华为AI应用开发过程中的需求分析过程,从理论到实践帮助开发者快速掌握华为AI应用集成需求的框架和方法。
去报名 -
华为云DataArts+DWS助力企业数据治理一站式解决方案及应用实践
2024/11/27 周三 16:30-18:00
Walter.chi 华为云数据治理DTSE技术布道师
想知道数据治理项目中,数据主题域如何合理划分?数据标准及主数据标准如何制定?数仓分层模型如何合理规划?华为云DataArts+DWS助力企业数据治理项目一站式解决方案和应用实践告诉您答案!本期将从数据趋势、数据治理方案、数据治理规划及落地,案例分享四个方面来助力企业数据治理项目合理咨询规划及顺利实施。
去报名
热门标签