- Antlr4是一款十分优秀的语法解析工具，由于其优秀的能力被用于HIive,Spark, Elasticsearch等大型的开源项目中。通过学习Antlr4的使用，我们可以构建自己的语法解析方法。 Antlr4是一款十分优秀的语法解析工具，由于其优秀的能力被用于HIive,Spark, Elasticsearch等大型的开源项目中。通过学习Antlr4的使用，我们可以构建自己的语法解析方法。
- 互联网浪潮下，新电商、游戏等企业迎来了新一轮市场竞争，许多电商企业每天都在思考该如何更好地利用手中的数据，为现有客户提供“更贴身”服务、洞察新业务、挖掘更多潜在消费者、拓展新市场。如何面对业务飞速增长的挑战一直专注于应用的电商企业，在面对如何构建数字化能力所需要的ICT基础设施和服务时，面临着选择：是该自己投入高研发成本呢？还是选择市场领先的产品呢？梦饷集团也曾面临这样的挑战，作为新电商基础... 互联网浪潮下，新电商、游戏等企业迎来了新一轮市场竞争，许多电商企业每天都在思考该如何更好地利用手中的数据，为现有客户提供“更贴身”服务、洞察新业务、挖掘更多潜在消费者、拓展新市场。如何面对业务飞速增长的挑战一直专注于应用的电商企业，在面对如何构建数字化能力所需要的ICT基础设施和服务时，面临着选择：是该自己投入高研发成本呢？还是选择市场领先的产品呢？梦饷集团也曾面临这样的挑战，作为新电商基础...
- DLI Flink作业要如何配置才能稳定可靠，安心上生产环境呢？ DLI Flink作业要如何配置才能稳定可靠，安心上生产环境呢？
- ## Flink 自定义作业配置checkppoint功能在Flink 自定义作业 Jar包代码中加入如下代码： 如下代码含义是以EXACTLY_ONCE模式，每隔40s 保存checkpoint 到obs的${bucket}桶中的jobs/checkpoint/my_jar路径。 其中最主要是的保存checkpoint路径，一般是将checkpoint存入obs桶中，路径格式如下：... ## Flink 自定义作业配置checkppoint功能在Flink 自定义作业 Jar包代码中加入如下代码： 如下代码含义是以EXACTLY_ONCE模式，每隔40s 保存checkpoint 到obs的${bucket}桶中的jobs/checkpoint/my_jar路径。 其中最主要是的保存checkpoint路径，一般是将checkpoint存入obs桶中，路径格式如下：...
- DLI数据湖探索服务通过动态资源分配的开启、以及多用户共享default集群弹性扩缩容使用，在充分使用计算资源的基础上，节省了用户的成本。同时，对于用户按需专属队列，DLI已经支持用户指定扩缩容计划的定时扩缩容。用户根据自己的业务繁忙周期，制定自己所需的队列扩缩容计划，定时预置满足业务所需的计算资源，同时节省了成本。 DLI数据湖探索服务通过动态资源分配的开启、以及多用户共享default集群弹性扩缩容使用，在充分使用计算资源的基础上，节省了用户的成本。同时，对于用户按需专属队列，DLI已经支持用户指定扩缩容计划的定时扩缩容。用户根据自己的业务繁忙周期，制定自己所需的队列扩缩容计划，定时预置满足业务所需的计算资源，同时节省了成本。
- 本文中我们将介绍DLI 边缘Flink的实现原理，完全基于华为云公开资料阐述，实现细节作相应屏蔽。 本文中我们将介绍DLI 边缘Flink的实现原理，完全基于华为云公开资料阐述，实现细节作相应屏蔽。
- Java异常处理的场景非常普遍，好的处理方式不仅可以提升代码可读性，还能帮助问题定位，接口调用更方便等等 Java异常处理的场景非常普遍，好的处理方式不仅可以提升代码可读性，还能帮助问题定位，接口调用更方便等等
- 一个通用，可拓展，多核，高性能大数据优化器GPDB采用了shared-nothing的多处理架构，每个处理器拥有自己的内存，操作系统和磁盘等。主节点（master）管理其他的数据库实例（segment），数据在节点的分布可以是hashed，replicated，singleton等。ORCA基于Cascades优化流程（top-down)，并且可以作为其他存储系统的独立优化器模块；提供了一种... 一个通用，可拓展，多核，高性能大数据优化器GPDB采用了shared-nothing的多处理架构，每个处理器拥有自己的内存，操作系统和磁盘等。主节点（master）管理其他的数据库实例（segment），数据在节点的分布可以是hashed，replicated，singleton等。ORCA基于Cascades优化流程（top-down)，并且可以作为其他存储系统的独立优化器模块；提供了一种...
- 在流处理的实际应用中，数据是连续不断的，因此我们不可能等待所有的数据都到了才开始处理。虽然我们可以对每来一条数据就处理一次，但是有一些场景我们需要使用一段时间内的数据进行计算，比如统计在一分钟内用户对某商品的浏览量，而这就是window窗口的使用场景。Flink sql中对于窗口的使用主要是通过TUMBLE、HOP和SESSION，而这些操作都是基于WindowOperato... 在流处理的实际应用中，数据是连续不断的，因此我们不可能等待所有的数据都到了才开始处理。虽然我们可以对每来一条数据就处理一次，但是有一些场景我们需要使用一段时间内的数据进行计算，比如统计在一分钟内用户对某商品的浏览量，而这就是window窗口的使用场景。Flink sql中对于窗口的使用主要是通过TUMBLE、HOP和SESSION，而这些操作都是基于WindowOperato...
- Flink是jvm之上的大数据处理引擎，jvm存在java对象存储密度低、full gc时消耗性能，gc存在stw的问题，同时omm时会影响稳定性。同时针对频繁序列化和反序列化问题flink使用堆内堆外内存可以直接在一些场景下操作二进制数据，减少序列化反序列化的消耗。同时基于大数据流式处理的特点，flink定制了自己的一套序列化框架。flink也会基于cpu L1 L2 L3高速缓存的机制以及局 Flink是jvm之上的大数据处理引擎，jvm存在java对象存储密度低、full gc时消耗性能，gc存在stw的问题，同时omm时会影响稳定性。同时针对频繁序列化和反序列化问题flink使用堆内堆外内存可以直接在一些场景下操作二进制数据，减少序列化反序列化的消耗。同时基于大数据流式处理的特点，flink定制了自己的一套序列化框架。flink也会基于cpu L1 L2 L3高速缓存的机制以及局
- 服务功能更新1.【新功能】支持交互式分析能力基于openLooKeng引擎，推出交互式查询能力，兼容业界著名的开源SQL引擎Presto生态，并持续在融合场景查询、跨数据中心/云、数据源扩展、性能、可靠性、安全性等方面发展，让数据治理、使用更简单。2．【新特性】Flink作业支持1.7/1.10多版本新上线Flink多版本能力，用户在提交作业时可以选择使用Flink1.7或者1.10版本，丰... 服务功能更新1.【新功能】支持交互式分析能力基于openLooKeng引擎，推出交互式查询能力，兼容业界著名的开源SQL引擎Presto生态，并持续在融合场景查询、跨数据中心/云、数据源扩展、性能、可靠性、安全性等方面发展，让数据治理、使用更简单。2．【新特性】Flink作业支持1.7/1.10多版本新上线Flink多版本能力，用户在提交作业时可以选择使用Flink1.7或者1.10版本，丰...
- 当我们需要同时执行多个任务、并且不会因为其中一个任务的执行时间漫长而陷入阻塞，就需要用到并发，也即多线程。Java中的并发实现主要在java.util.concurrent包中，Future这个概念其实Java里也有。Scala是在Java的基础上实现的函数式编程语言，所以Scala也可以调用Java API。今天会介绍Scala并发中应用比较多的两个概念——Future、ExecutionCon 当我们需要同时执行多个任务、并且不会因为其中一个任务的执行时间漫长而陷入阻塞，就需要用到并发，也即多线程。Java中的并发实现主要在java.util.concurrent包中，Future这个概念其实Java里也有。Scala是在Java的基础上实现的函数式编程语言，所以Scala也可以调用Java API。今天会介绍Scala并发中应用比较多的两个概念——Future、ExecutionCon
- 数据湖探索（DLI）服务是一站式的流处理、批处理分析的Serverless融合处理分析服务，对于PySpark是原生支持的，那么在DLI中我们如何更好的运行复杂PySpark程序呢？ 对于数据分析来说Python是很自然的选择，而在大数据分析中PySpark无疑是不二选择。对于JVM语言系的程序我们通常会把程序打成Jar包并依赖其他一些第三方的Jar，同样的Py... 数据湖探索（DLI）服务是一站式的流处理、批处理分析的Serverless融合处理分析服务，对于PySpark是原生支持的，那么在DLI中我们如何更好的运行复杂PySpark程序呢？ 对于数据分析来说Python是很自然的选择，而在大数据分析中PySpark无疑是不二选择。对于JVM语言系的程序我们通常会把程序打成Jar包并依赖其他一些第三方的Jar，同样的Py...
- 本文中我们将介绍DLI 边缘Flink的使用方法1. 前置动作创建华为云账户开通数据湖探索（DLI）服务开通智能边缘平台（IEF）服务注意：IEF服务必须具有Tenant Administrator权限才能运行边缘Flink作业。准备边缘节点，边缘节点需要满足一定的规格要求，具体请参见边缘节点规格要求。运行Flink作业，推荐规格不低于1核2GB内存。2. 边缘节点与Flink应用部署ste... 本文中我们将介绍DLI 边缘Flink的使用方法1. 前置动作创建华为云账户开通数据湖探索（DLI）服务开通智能边缘平台（IEF）服务注意：IEF服务必须具有Tenant Administrator权限才能运行边缘Flink作业。准备边缘节点，边缘节点需要满足一定的规格要求，具体请参见边缘节点规格要求。运行Flink作业，推荐规格不低于1核2GB内存。2. 边缘节点与Flink应用部署ste...
- 用户在DWS建业务表，然后在DLI创建跨源链接读写该表，某一天突然出现如下异常，报错信息显示DLI向该表某非空字段写入了空值，因为非空约束存在导致作业出错，但用户源数据不为空值，如何定位该问题？ 用户在DWS建业务表，然后在DLI创建跨源链接读写该表，某一天突然出现如下异常，报错信息显示DLI向该表某非空字段写入了空值，因为非空约束存在导致作业出错，但用户源数据不为空值，如何定位该问题？
上滑加载中
推荐直播
-
华为云入门必修课：技术精髓知识点精讲2024/11/07 周四 17:40-19:40
Jackie 华为云资深布道师
本期直播旨在帮开发者了解云的基本概念、云的优势、常见存储服务的原理及使用，掌握ECS的概念、功能、场景和使用等，为你的开发之路奠定坚实理论根基，帮助开发者在云计算领域提升技能，增强职业竞争力。
去报名
热门标签