- openLooKeng是华为的一款性能强大的引擎,基于业界著名的开源SQL引擎Presto来提供交互式查询分析基础能力, 用于支持数据探索、即席查询和批处理,具有100+毫秒至分钟级的近实时时延,而无需移动数据。openLooKeng还支持层次化部署,使地理上远程的openLooKeng集群能够参与相同的查询。利用其跨区域查询计划优化能力,涉及远程数据的查询可以接近“本地”的性能 openLooKeng是华为的一款性能强大的引擎,基于业界著名的开源SQL引擎Presto来提供交互式查询分析基础能力, 用于支持数据探索、即席查询和批处理,具有100+毫秒至分钟级的近实时时延,而无需移动数据。openLooKeng还支持层次化部署,使地理上远程的openLooKeng集群能够参与相同的查询。利用其跨区域查询计划优化能力,涉及远程数据的查询可以接近“本地”的性能
- 对于connector的介绍之前已经讲解,此处就不再详细结果其运行流程和使用方式,而是简单学习下jdbc connector中sink的源码,而由于源码较多因此我们只挑选重点部分进行研究学习。1 JDBCTableSourceSinkFactory:JDBC支持的配置属性参数在flink sql中,所有的connector的使用都是从factory开始的,而factory的创建是通... 对于connector的介绍之前已经讲解,此处就不再详细结果其运行流程和使用方式,而是简单学习下jdbc connector中sink的源码,而由于源码较多因此我们只挑选重点部分进行研究学习。1 JDBCTableSourceSinkFactory:JDBC支持的配置属性参数在flink sql中,所有的connector的使用都是从factory开始的,而factory的创建是通...
- 参加华为云大数据分析7天训练营,学习《第四章 项目实践:使用DLI Flink SQL进行电商实时业务数据分析》,除了根据操作文档步骤和https://bbs.huaweicloud.com/blogs/269814(使用DLI Flink SQL进行电商实时业务数据分析)的操作博客来做,还可以根据自己现有的服务器,搭建mysql和kafka来减少实验的操作费用。 1.虽然已经... 参加华为云大数据分析7天训练营,学习《第四章 项目实践:使用DLI Flink SQL进行电商实时业务数据分析》,除了根据操作文档步骤和https://bbs.huaweicloud.com/blogs/269814(使用DLI Flink SQL进行电商实时业务数据分析)的操作博客来做,还可以根据自己现有的服务器,搭建mysql和kafka来减少实验的操作费用。 1.虽然已经...
- 数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark、Apache Flink、openLooKeng(基于Apache Presto)生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。 数据湖探索(Data Lake Insight,简称DLI)是完全兼容Apache Spark、Apache Flink、openLooKeng(基于Apache Presto)生态,提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。
- 相信每一个程序猿在写Unit Test的时候都会碰到一些令人头疼的问题:如何测试一个rest接口;如何测试一个包含客户端调用服务端的复杂方法;如何测试一个包含从数据库读取数据的复杂方法。。。这些问题mockito都可以帮我们轻松地解决。Mockito是啥?Mockito 是一个强大的用于 Java 开发的模拟测试框架, 通过 Mockito 我们可以创建和配置 Mock 对象, 进而简化有外... 相信每一个程序猿在写Unit Test的时候都会碰到一些令人头疼的问题:如何测试一个rest接口;如何测试一个包含客户端调用服务端的复杂方法;如何测试一个包含从数据库读取数据的复杂方法。。。这些问题mockito都可以帮我们轻松地解决。Mockito是啥?Mockito 是一个强大的用于 Java 开发的模拟测试框架, 通过 Mockito 我们可以创建和配置 Mock 对象, 进而简化有外...
- 相信每一个程序猿在写Unit Test的时候都会碰到一些令人头疼的问题:如何测试一个rest接口;如何测试一个包含客户端调用服务端的复杂方法;如何测试一个包含从数据库读取数据的复杂方法。。。这些问题mockito都可以帮我们轻松地解决。 相信每一个程序猿在写Unit Test的时候都会碰到一些令人头疼的问题:如何测试一个rest接口;如何测试一个包含客户端调用服务端的复杂方法;如何测试一个包含从数据库读取数据的复杂方法。。。这些问题mockito都可以帮我们轻松地解决。
- DLI权限管理主要分为3块,DLI服务权限控制、IAM用户权限控制、企业项目权限控制。只要存在deny的权限则鉴权结果为deny;如果没有deny,并且存在allow则鉴权结果为allow;如果没有deny,也没有allow则鉴权结果也为deny。 用户信息:用户界面的me接口会返回用户信息以及一些角色信息。角色中有op_ecp说明在企业项目授权了。op_fine_grained说明支持细粒... DLI权限管理主要分为3块,DLI服务权限控制、IAM用户权限控制、企业项目权限控制。只要存在deny的权限则鉴权结果为deny;如果没有deny,并且存在allow则鉴权结果为allow;如果没有deny,也没有allow则鉴权结果也为deny。 用户信息:用户界面的me接口会返回用户信息以及一些角色信息。角色中有op_ecp说明在企业项目授权了。op_fine_grained说明支持细粒...
- Antlr4是一款十分优秀的语法解析工具,由于其优秀的能力被用于HIive,Spark, Elasticsearch等大型的开源项目中。通过学习Antlr4的使用,我们可以构建自己的语法解析方法。上次说到Antlr4的解析方式,是从上至下的递归下降的语法分析方式,这次我们具体看一下其解析的顺序与方式。首先,我们可以先创建如下语法文件。grammar Hello2; ... Antlr4是一款十分优秀的语法解析工具,由于其优秀的能力被用于HIive,Spark, Elasticsearch等大型的开源项目中。通过学习Antlr4的使用,我们可以构建自己的语法解析方法。上次说到Antlr4的解析方式,是从上至下的递归下降的语法分析方式,这次我们具体看一下其解析的顺序与方式。首先,我们可以先创建如下语法文件。grammar Hello2; ...
- DLI Flink提供了完整可靠的Checkpoint/Savepoint机制,您可以利用该机制,保证在手动重启或者作业异常重启场景下,不丢失数据。为了避免系统故障导致作业异常自动重启后,丢失数据:对于Flink SQL作业,您可以勾选“开启Checkpoint”,并合理配置Checkpoint间隔(权衡执行Checkpoint对业务性能的影响以及异常恢复的时长),同时勾选“异常自动重启”,... DLI Flink提供了完整可靠的Checkpoint/Savepoint机制,您可以利用该机制,保证在手动重启或者作业异常重启场景下,不丢失数据。为了避免系统故障导致作业异常自动重启后,丢失数据:对于Flink SQL作业,您可以勾选“开启Checkpoint”,并合理配置Checkpoint间隔(权衡执行Checkpoint对业务性能的影响以及异常恢复的时长),同时勾选“异常自动重启”,...
- 用户在创建Flink作业时,可以通过如下配置实现流应用的高可靠性能。用户在消息通知服务(SMN)中提前创建一个“主题”,并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知,单击链接确认订阅即可。图1 创建主题图2 添加订阅登录DLI控制台,创建Flink SQL作业,编写作业SQL后,配置“运行参数”。说明:Flink Jar作业可靠性配置与SQL作业相同... 用户在创建Flink作业时,可以通过如下配置实现流应用的高可靠性能。用户在消息通知服务(SMN)中提前创建一个“主题”,并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知,单击链接确认订阅即可。图1 创建主题图2 添加订阅登录DLI控制台,创建Flink SQL作业,编写作业SQL后,配置“运行参数”。说明:Flink Jar作业可靠性配置与SQL作业相同...
- Sleuth链路追踪学习与分享 微服务架构带来的一些思考 随着微服务架构的流行,服务按照不同的维度进行拆分,一次请求往往需要涉及到多个服务。互联网应用构建在不同的软件模块集上,这些软件模块,有可能是由不同的团队开发、可能使用不同的编程语言来实现、有可能布在了几千台服务器,横跨多个不同的数据中心。因此,就需要一些可以帮助理解系统行为、用于分析性能问题的工具,以便发生故障的时候... Sleuth链路追踪学习与分享 微服务架构带来的一些思考 随着微服务架构的流行,服务按照不同的维度进行拆分,一次请求往往需要涉及到多个服务。互联网应用构建在不同的软件模块集上,这些软件模块,有可能是由不同的团队开发、可能使用不同的编程语言来实现、有可能布在了几千台服务器,横跨多个不同的数据中心。因此,就需要一些可以帮助理解系统行为、用于分析性能问题的工具,以便发生故障的时候...
- 场景概述如果需要确认DLI队列的运行状态,决定是否运行更多的作业时需要查看队列负载。操作步骤在华为云控制条搜索云服务监控CES。图1 搜索CES进入CES后,在页面左侧“云服务监控”列表中,单击“数据湖探索”。图2 云服务监控选择队列进行查看。图3 查看队列负载 场景概述如果需要确认DLI队列的运行状态,决定是否运行更多的作业时需要查看队列负载。操作步骤在华为云控制条搜索云服务监控CES。图1 搜索CES进入CES后,在页面左侧“云服务监控”列表中,单击“数据湖探索”。图2 云服务监控选择队列进行查看。图3 查看队列负载
- 数据湖探索(Data Lake Insight,简称DLI)是一款Serverless的大数据分析服务,可通过弹性伸缩资源来提高资源的使用率,减少用户数据分析成本。未来考虑基于负载的自动扩缩容来进一步智能化地管理用户的资源,提供更高的性价比服务。基于此背景,本博文简单介绍了微软发表在SIGMOD'16的一篇关于资源动态按需调整的论文,Automated Demand-driven Resou... 数据湖探索(Data Lake Insight,简称DLI)是一款Serverless的大数据分析服务,可通过弹性伸缩资源来提高资源的使用率,减少用户数据分析成本。未来考虑基于负载的自动扩缩容来进一步智能化地管理用户的资源,提供更高的性价比服务。基于此背景,本博文简单介绍了微软发表在SIGMOD'16的一篇关于资源动态按需调整的论文,Automated Demand-driven Resou...
- 数据湖探索(Data Lake Insight,简称DLI)是一款Serverless的大数据分析服务,可通过弹性伸缩资源来提高资源的使用率,减少用户数据分析成本。未来考虑基于负载的自动扩缩容来进一步智能化地管理用户的资源,提供更高的性价比服务。基于此背景,本博文简单介绍了微软发表在SIGMOD'16的一篇关于资源动态按需调整的论文,Automated Demand-driven Resou... 数据湖探索(Data Lake Insight,简称DLI)是一款Serverless的大数据分析服务,可通过弹性伸缩资源来提高资源的使用率,减少用户数据分析成本。未来考虑基于负载的自动扩缩容来进一步智能化地管理用户的资源,提供更高的性价比服务。基于此背景,本博文简单介绍了微软发表在SIGMOD'16的一篇关于资源动态按需调整的论文,Automated Demand-driven Resou...
- Antlr4是一款十分优秀的语法解析工具,由于其优秀的能力被用于HIive,Spark, Elasticsearch等大型的开源项目中。通过学习Antlr4的使用,我们可以构建自己的语法解析方法。 Antlr4是一款十分优秀的语法解析工具,由于其优秀的能力被用于HIive,Spark, Elasticsearch等大型的开源项目中。通过学习Antlr4的使用,我们可以构建自己的语法解析方法。
上滑加载中
推荐直播
-
华为云IoT开源专家实践分享:开源让物联网平台更开放、易用
2024/05/22 周三 16:30-18:00
张俭 华为云IoT DTSE技术布道师
开源,意味着开放、共享、互助、共赢。作为万物上云及各行业数字化的物联网底座,华为云IoT积极拥抱开源,借助行业开源的最佳实践,构建可靠、易用的物联网平台,并通过开放南北向SDK,助力开发者快速构建物联网应用。本期直播,华为云IoT开源专家、物联网平台资深“程序猿”张俭,带你了解华为云IoT的开源生态,并手把手教你玩转开源社区!
去报名 -
数字技术创新与商业愿景--数字化转型战略解读
2024/05/22 周三 19:00-20:30
王纪奎老师 华为科学家咨询委员会CTO
数字化转型浪潮下,你是否缺乏对前沿科技的战略洞察、难以将企业转型与国家战略相融合、缺少系统性规划的数字化思维…… 我们特别邀请了华为科学家咨询委员会CTO、战略研究院数字经济与数字化转型首席专家、《数字化转型战略》一书的作者——王纪奎老师。 在5月22日(周三)19点,为我们带来一场主题为“数字技术创新与商业愿景--数字化转型战略解决”的精彩直播。
去报名 -
华为云开发者日·广州站
2024/05/23 周四 14:30-17:30
华为云专家团
华为云开发者日HDC.Cloud Day是面向全球开发者的旗舰活动,汇聚来自千行百业、高校及科研院所的开发人员。致力于打造开发者专属的技术盛宴,全方位服务与赋能开发者围绕华为云生态“知、学、用、创、商”的成长路径。通过前沿的技术分享、场景化的动手体验、优秀的应用创新推介,为开发者提供沉浸式学习与交流平台。开放创新,与开发者共创、共享、共赢未来。
去报名
热门标签