- 在DLI的Flink OpenSource SQL语句中针对用户不同的使用场景，为用户提供了较多的connector以供用户使用，如DWS connector、kafka connector、RDS connector、Hbase connector和elasticsearch connector等。虽然这些connector足够应付大多数主流使用场景，但是仍然有可能不能够满... 在DLI的Flink OpenSource SQL语句中针对用户不同的使用场景，为用户提供了较多的connector以供用户使用，如DWS connector、kafka connector、RDS connector、Hbase connector和elasticsearch connector等。虽然这些connector足够应付大多数主流使用场景，但是仍然有可能不能够满...
- openLooKeng是华为的一款性能强大的引擎，基于业界著名的开源SQL引擎Presto来提供交互式查询分析基础能力， 用于支持数据探索、即席查询和批处理，具有100+毫秒至分钟级的近实时时延，而无需移动数据。openLooKeng还支持层次化部署，使地理上远程的openLooKeng集群能够参与相同的查询。利用其跨区域查询计划优化能力，涉及远程数据的查询可以接近“本地”的性能 openLooKeng是华为的一款性能强大的引擎，基于业界著名的开源SQL引擎Presto来提供交互式查询分析基础能力， 用于支持数据探索、即席查询和批处理，具有100+毫秒至分钟级的近实时时延，而无需移动数据。openLooKeng还支持层次化部署，使地理上远程的openLooKeng集群能够参与相同的查询。利用其跨区域查询计划优化能力，涉及远程数据的查询可以接近“本地”的性能
- 对于connector的介绍之前已经讲解，此处就不再详细结果其运行流程和使用方式，而是简单学习下jdbc connector中sink的源码，而由于源码较多因此我们只挑选重点部分进行研究学习。1 JDBCTableSourceSinkFactory：JDBC支持的配置属性参数在flink sql中，所有的connector的使用都是从factory开始的，而factory的创建是通... 对于connector的介绍之前已经讲解，此处就不再详细结果其运行流程和使用方式，而是简单学习下jdbc connector中sink的源码，而由于源码较多因此我们只挑选重点部分进行研究学习。1 JDBCTableSourceSinkFactory：JDBC支持的配置属性参数在flink sql中，所有的connector的使用都是从factory开始的，而factory的创建是通...
- 参加华为云大数据分析7天训练营，学习《第四章 项目实践：使用DLI Flink SQL进行电商实时业务数据分析》，除了根据操作文档步骤和https://bbs.huaweicloud.com/blogs/269814（使用DLI Flink SQL进行电商实时业务数据分析）的操作博客来做，还可以根据自己现有的服务器，搭建mysql和kafka来减少实验的操作费用。 1.虽然已经... 参加华为云大数据分析7天训练营，学习《第四章 项目实践：使用DLI Flink SQL进行电商实时业务数据分析》，除了根据操作文档步骤和https://bbs.huaweicloud.com/blogs/269814（使用DLI Flink SQL进行电商实时业务数据分析）的操作博客来做，还可以根据自己现有的服务器，搭建mysql和kafka来减少实验的操作费用。 1.虽然已经...
- 数据湖探索（Data Lake Insight，简称DLI）是完全兼容Apache Spark、Apache Flink、openLooKeng（基于Apache Presto）生态，提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。 数据湖探索（Data Lake Insight，简称DLI）是完全兼容Apache Spark、Apache Flink、openLooKeng（基于Apache Presto）生态，提供一站式的流处理、批处理、交互式分析的Serverless融合处理分析服务。
- 相信每一个程序猿在写Unit Test的时候都会碰到一些令人头疼的问题：如何测试一个rest接口；如何测试一个包含客户端调用服务端的复杂方法；如何测试一个包含从数据库读取数据的复杂方法。。。这些问题mockito都可以帮我们轻松地解决。Mockito是啥？Mockito 是一个强大的用于 Java 开发的模拟测试框架, 通过 Mockito 我们可以创建和配置 Mock 对象, 进而简化有外... 相信每一个程序猿在写Unit Test的时候都会碰到一些令人头疼的问题：如何测试一个rest接口；如何测试一个包含客户端调用服务端的复杂方法；如何测试一个包含从数据库读取数据的复杂方法。。。这些问题mockito都可以帮我们轻松地解决。Mockito是啥？Mockito 是一个强大的用于 Java 开发的模拟测试框架, 通过 Mockito 我们可以创建和配置 Mock 对象, 进而简化有外...
- 相信每一个程序猿在写Unit Test的时候都会碰到一些令人头疼的问题：如何测试一个rest接口；如何测试一个包含客户端调用服务端的复杂方法；如何测试一个包含从数据库读取数据的复杂方法。。。这些问题mockito都可以帮我们轻松地解决。 相信每一个程序猿在写Unit Test的时候都会碰到一些令人头疼的问题：如何测试一个rest接口；如何测试一个包含客户端调用服务端的复杂方法；如何测试一个包含从数据库读取数据的复杂方法。。。这些问题mockito都可以帮我们轻松地解决。
- DLI权限管理主要分为3块，DLI服务权限控制、IAM用户权限控制、企业项目权限控制。只要存在deny的权限则鉴权结果为deny；如果没有deny，并且存在allow则鉴权结果为allow；如果没有deny，也没有allow则鉴权结果也为deny。 用户信息：用户界面的me接口会返回用户信息以及一些角色信息。角色中有op_ecp说明在企业项目授权了。op_fine_grained说明支持细粒... DLI权限管理主要分为3块，DLI服务权限控制、IAM用户权限控制、企业项目权限控制。只要存在deny的权限则鉴权结果为deny；如果没有deny，并且存在allow则鉴权结果为allow；如果没有deny，也没有allow则鉴权结果也为deny。 用户信息：用户界面的me接口会返回用户信息以及一些角色信息。角色中有op_ecp说明在企业项目授权了。op_fine_grained说明支持细粒...
- Antlr4是一款十分优秀的语法解析工具，由于其优秀的能力被用于HIive,Spark, Elasticsearch等大型的开源项目中。通过学习Antlr4的使用，我们可以构建自己的语法解析方法。上次说到Antlr4的解析方式，是从上至下的递归下降的语法分析方式，这次我们具体看一下其解析的顺序与方式。首先，我们可以先创建如下语法文件。grammar Hello2; ... Antlr4是一款十分优秀的语法解析工具，由于其优秀的能力被用于HIive,Spark, Elasticsearch等大型的开源项目中。通过学习Antlr4的使用，我们可以构建自己的语法解析方法。上次说到Antlr4的解析方式，是从上至下的递归下降的语法分析方式，这次我们具体看一下其解析的顺序与方式。首先，我们可以先创建如下语法文件。grammar Hello2; ...
- DLI Flink提供了完整可靠的Checkpoint/Savepoint机制，您可以利用该机制，保证在手动重启或者作业异常重启场景下，不丢失数据。为了避免系统故障导致作业异常自动重启后，丢失数据：对于Flink SQL作业，您可以勾选“开启Checkpoint”，并合理配置Checkpoint间隔（权衡执行Checkpoint对业务性能的影响以及异常恢复的时长），同时勾选“异常自动重启”，... DLI Flink提供了完整可靠的Checkpoint/Savepoint机制，您可以利用该机制，保证在手动重启或者作业异常重启场景下，不丢失数据。为了避免系统故障导致作业异常自动重启后，丢失数据：对于Flink SQL作业，您可以勾选“开启Checkpoint”，并合理配置Checkpoint间隔（权衡执行Checkpoint对业务性能的影响以及异常恢复的时长），同时勾选“异常自动重启”，...
- 用户在创建Flink作业时，可以通过如下配置实现流应用的高可靠性能。用户在消息通知服务（SMN）中提前创建一个“主题”，并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知，单击链接确认订阅即可。图1 创建主题图2 添加订阅登录DLI控制台，创建Flink SQL作业，编写作业SQL后，配置“运行参数”。说明：Flink Jar作业可靠性配置与SQL作业相同... 用户在创建Flink作业时，可以通过如下配置实现流应用的高可靠性能。用户在消息通知服务（SMN）中提前创建一个“主题”，并将其指定的邮箱或者手机号添加至主题订阅中。此时指定的邮箱或者手机会收到请求订阅的通知，单击链接确认订阅即可。图1 创建主题图2 添加订阅登录DLI控制台，创建Flink SQL作业，编写作业SQL后，配置“运行参数”。说明：Flink Jar作业可靠性配置与SQL作业相同...
- Sleuth链路追踪学习与分享 微服务架构带来的一些思考 随着微服务架构的流行，服务按照不同的维度进行拆分，一次请求往往需要涉及到多个服务。互联网应用构建在不同的软件模块集上，这些软件模块，有可能是由不同的团队开发、可能使用不同的编程语言来实现、有可能布在了几千台服务器，横跨多个不同的数据中心。因此，就需要一些可以帮助理解系统行为、用于分析性能问题的工具，以便发生故障的时候... Sleuth链路追踪学习与分享 微服务架构带来的一些思考 随着微服务架构的流行，服务按照不同的维度进行拆分，一次请求往往需要涉及到多个服务。互联网应用构建在不同的软件模块集上，这些软件模块，有可能是由不同的团队开发、可能使用不同的编程语言来实现、有可能布在了几千台服务器，横跨多个不同的数据中心。因此，就需要一些可以帮助理解系统行为、用于分析性能问题的工具，以便发生故障的时候...
- 场景概述如果需要确认DLI队列的运行状态，决定是否运行更多的作业时需要查看队列负载。操作步骤在华为云控制条搜索云服务监控CES。图1 搜索CES进入CES后，在页面左侧“云服务监控”列表中，单击“数据湖探索”。图2 云服务监控选择队列进行查看。图3 查看队列负载 场景概述如果需要确认DLI队列的运行状态，决定是否运行更多的作业时需要查看队列负载。操作步骤在华为云控制条搜索云服务监控CES。图1 搜索CES进入CES后，在页面左侧“云服务监控”列表中，单击“数据湖探索”。图2 云服务监控选择队列进行查看。图3 查看队列负载
- 数据湖探索（Data Lake Insight，简称DLI）是一款Serverless的大数据分析服务，可通过弹性伸缩资源来提高资源的使用率，减少用户数据分析成本。未来考虑基于负载的自动扩缩容来进一步智能化地管理用户的资源，提供更高的性价比服务。基于此背景，本博文简单介绍了微软发表在SIGMOD'16的一篇关于资源动态按需调整的论文，Automated Demand-driven Resou... 数据湖探索（Data Lake Insight，简称DLI）是一款Serverless的大数据分析服务，可通过弹性伸缩资源来提高资源的使用率，减少用户数据分析成本。未来考虑基于负载的自动扩缩容来进一步智能化地管理用户的资源，提供更高的性价比服务。基于此背景，本博文简单介绍了微软发表在SIGMOD'16的一篇关于资源动态按需调整的论文，Automated Demand-driven Resou...
- 数据湖探索（Data Lake Insight，简称DLI）是一款Serverless的大数据分析服务，可通过弹性伸缩资源来提高资源的使用率，减少用户数据分析成本。未来考虑基于负载的自动扩缩容来进一步智能化地管理用户的资源，提供更高的性价比服务。基于此背景，本博文简单介绍了微软发表在SIGMOD'16的一篇关于资源动态按需调整的论文，Automated Demand-driven Resou... 数据湖探索（Data Lake Insight，简称DLI）是一款Serverless的大数据分析服务，可通过弹性伸缩资源来提高资源的使用率，减少用户数据分析成本。未来考虑基于负载的自动扩缩容来进一步智能化地管理用户的资源，提供更高的性价比服务。基于此背景，本博文简单介绍了微软发表在SIGMOD'16的一篇关于资源动态按需调整的论文，Automated Demand-driven Resou...
上滑加载中
推荐直播
-
华为云入门必修课：技术精髓知识点精讲2024/11/07 周四 17:40-19:40
Jackie 华为云资深布道师
本期直播旨在帮开发者了解云的基本概念、云的优势、常见存储服务的原理及使用，掌握ECS的概念、功能、场景和使用等，为你的开发之路奠定坚实理论根基，帮助开发者在云计算领域提升技能，增强职业竞争力。
去报名
热门标签