- 亲爱的社区伙伴们，Apache Doris Flink Connector 24.0.0 版本已于 2024 年 9 月 5 日正式发布。该版本新增了对 Flink 1.20 的支持，并支持通过 Arrow Flight SQL 高速读取 Doris 中数据。此外，整库同步所依赖的 FlinkCDC，也需升级至 3.1.x 版本，以便更好的应用。下载地址：https://github.com... 亲爱的社区伙伴们，Apache Doris Flink Connector 24.0.0 版本已于 2024 年 9 月 5 日正式发布。该版本新增了对 Flink 1.20 的支持，并支持通过 Arrow Flight SQL 高速读取 Doris 中数据。此外，整库同步所依赖的 FlinkCDC，也需升级至 3.1.x 版本，以便更好的应用。下载地址：https://github.com...
- Apache Doris 内置支持包括 Hive、Iceberg、Hudi、Paimon、LakeSoul、JDBC 在内的多种 Catalog，并为其提供原生高性能且稳定的访问能力，以满足与数据湖的集成需求。而随着 Apache Doris 用户的增加，新的数据源连接需求也随之增加。因此，从 3.0 版本开始，Apache Doris 引入了 Trino Connector 兼容框架。Tr... Apache Doris 内置支持包括 Hive、Iceberg、Hudi、Paimon、LakeSoul、JDBC 在内的多种 Catalog，并为其提供原生高性能且稳定的访问能力，以满足与数据湖的集成需求。而随着 Apache Doris 用户的增加，新的数据源连接需求也随之增加。因此，从 3.0 版本开始，Apache Doris 引入了 Trino Connector 兼容框架。Tr...
- 在竞争激烈的消费金融市场中，有效利用海量数据、提升业务运营效率是赢得市场的关键。早期招联采用典型的 Lambda 架构提供业务报表、数据运营、个性推荐、风险控制等数据服务，而 Lambda 过多的技术栈也引发了数据孤岛、查询效率不足、代码复用性差以及开发运维成本高昂等诸多问题。因此，招联引入 Apache Doris 对架构进行了升级，不仅替换了冗余的技术栈，还实现了实时数仓存储和计算引擎的... 在竞争激烈的消费金融市场中，有效利用海量数据、提升业务运营效率是赢得市场的关键。早期招联采用典型的 Lambda 架构提供业务报表、数据运营、个性推荐、风险控制等数据服务，而 Lambda 过多的技术栈也引发了数据孤岛、查询效率不足、代码复用性差以及开发运维成本高昂等诸多问题。因此，招联引入 Apache Doris 对架构进行了升级，不仅替换了冗余的技术栈，还实现了实时数仓存储和计算引擎的...
- Hudi与Iceberg选型优势答：国内用hudi要远超lceberg,所以国内在各大论坛,技术成熟度上hudi更好,从数据更新能力这个角度来看,Hudi通过文件组、索引、主键可以降低数据文件冗余,而Iceberg每次数据跟新都会有commit,如果频繁写入更新,小文件问题严重更多参考：· Hudi 凭借文件组+索引+主键的设计模式，能够有效减少数据文件的冗余更新，提高数据更新效率。· Ic... Hudi与Iceberg选型优势答：国内用hudi要远超lceberg,所以国内在各大论坛,技术成熟度上hudi更好,从数据更新能力这个角度来看,Hudi通过文件组、索引、主键可以降低数据文件冗余,而Iceberg每次数据跟新都会有commit,如果频繁写入更新,小文件问题严重更多参考：· Hudi 凭借文件组+索引+主键的设计模式，能够有效减少数据文件的冗余更新，提高数据更新效率。· Ic...
- 在鲲鹏920服务器上部署Spark-3.5.1的两种方法和详细过程。 在鲲鹏920服务器上部署Spark-3.5.1的两种方法和详细过程。
- 作者：SelectDB 技术团队导读：湖仓一体（Data Lakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版本中，Apache Doris 持续加深与数据湖的融合，已演进出一套成熟的湖仓一体解决方案。为便于用户快速入门，我们将通过系列文章介绍 Apache Doris 与各类主流数据湖格式及存储系统的... 作者：SelectDB 技术团队导读：湖仓一体（Data Lakehouse）融合了数据仓库的高性能、实时性以及数据湖的低成本、灵活性等优势，帮助用户更加便捷地满足各种数据处理分析的需求。在过去多个版本中，Apache Doris 持续加深与数据湖的融合，已演进出一套成熟的湖仓一体解决方案。为便于用户快速入门，我们将通过系列文章介绍 Apache Doris 与各类主流数据湖格式及存储系统的...
- 导读：随着快成物流的大宗商品产业链的不断发展，货运轨迹规划和实时数据分析的需求日益迫切，为了保障数据报表更新、用户画像圈选与物流轨迹实时更新等大数据核心系统性能，快成物流引入 Apache Doris 实时数仓升级了大数据算法平台，目前已经部署在 2 套生产集群，存储数据总量达百亿规模，覆盖实时数仓、BI 多维分析、用户画像、货运轨迹信息系统等业务场景。作者共创：快成物流大数据算法平台技术负... 导读：随着快成物流的大宗商品产业链的不断发展，货运轨迹规划和实时数据分析的需求日益迫切，为了保障数据报表更新、用户画像圈选与物流轨迹实时更新等大数据核心系统性能，快成物流引入 Apache Doris 实时数仓升级了大数据算法平台，目前已经部署在 2 套生产集群，存储数据总量达百亿规模，覆盖实时数仓、BI 多维分析、用户画像、货运轨迹信息系统等业务场景。作者共创：快成物流大数据算法平台技术负...
- 导读：随着网易游戏品类及产品的快速发展，游戏数据分析场景面临着越来越多的挑战，为了保证系统性能和 SLA，要求引入新的组件来解决特定业务场景问题。为此，网易游戏引入 Apache Doris 构建了全新的湖仓一体架构。经过不断地扩张，目前已发展至十余集群、为内部上百个项目提供了稳定可靠的数据服务、日均查询量数百万次，整体查询性能得到 10-20 倍提升。内容共建：胡彪，网易游戏高级大数据开发... 导读：随着网易游戏品类及产品的快速发展，游戏数据分析场景面临着越来越多的挑战，为了保证系统性能和 SLA，要求引入新的组件来解决特定业务场景问题。为此，网易游戏引入 Apache Doris 构建了全新的湖仓一体架构。经过不断地扩张，目前已发展至十余集群、为内部上百个项目提供了稳定可靠的数据服务、日均查询量数百万次，整体查询性能得到 10-20 倍提升。内容共建：胡彪，网易游戏高级大数据开发...
- 本节我们将向您展示如何使用 hbase shell CLI 在 HBase 中创建表、在表中插入行、对表执行放置和扫描操作、启用或禁用表以及启动和停止 HBase。主要讲述了HBase的CRUD等基本DDL和DML操作。注意：HBase Shell 中的删除键没用，要用【Ctrl+Backspace】，每个命令之后不需要分号(;)结束。客户端进出命令# 进入客户端： ... 本节我们将向您展示如何使用 hbase shell CLI 在 HBase 中创建表、在表中插入行、对表执行放置和扫描操作、启用或禁用表以及启动和停止 HBase。主要讲述了HBase的CRUD等基本DDL和DML操作。注意：HBase Shell 中的删除键没用，要用【Ctrl+Backspace】，每个命令之后不需要分号(;)结束。客户端进出命令# 进入客户端： ...
- 存算分离方案为什么要用OBS的并行文件桶？相比普通对象桶有什么好处？答：并行文件桶是OBS专门为大数据场景所推出的针对性方案，它的好处是提供了标准Posix文件语义，并且能够实现hdfs rename等语义的原子操作，确保大数据的计算性能。 使用obs存算分离方案为什么能做到避免namenode压力的问题？答：1.首先，因为使用OBS方案之后，数据存储在OBS，元数据也保存在OBS，hdfs... 存算分离方案为什么要用OBS的并行文件桶？相比普通对象桶有什么好处？答：并行文件桶是OBS专门为大数据场景所推出的针对性方案，它的好处是提供了标准Posix文件语义，并且能够实现hdfs rename等语义的原子操作，确保大数据的计算性能。 使用obs存算分离方案为什么能做到避免namenode压力的问题？答：1.首先，因为使用OBS方案之后，数据存储在OBS，元数据也保存在OBS，hdfs...
- 一、RDD的基本概念接下来我们来学习RDD的一些核心概念：RDD是Spark中最重要的概念之一，全称叫弹性分布式数据集，我们可以简单的把它理解为提供了很多操作接口的数据集合。但是它跟我们一般使用的数据集不同的点在哪里呢？比如平时我们用Python或java开发程序时，操作的数据集合都是存放在我们单台的计算机上的，但是RDD实际上是把数据以分布式的方式存储在一批机器的内存或磁盘当中，这个概念跟... 一、RDD的基本概念接下来我们来学习RDD的一些核心概念：RDD是Spark中最重要的概念之一，全称叫弹性分布式数据集，我们可以简单的把它理解为提供了很多操作接口的数据集合。但是它跟我们一般使用的数据集不同的点在哪里呢？比如平时我们用Python或java开发程序时，操作的数据集合都是存放在我们单台的计算机上的，但是RDD实际上是把数据以分布式的方式存储在一批机器的内存或磁盘当中，这个概念跟...
- 一、Spark开发环境配置-scala项目1. 确认已安装scala插件2. 创建一个新的scala工程（在已有的scala工程中配置也可以）：3. 配置Spark开发依赖包(1) 点击菜单栏中的“File”->“Project Structure” ，选择“Libraries”。(2) 单击“+”按钮，选择“Java”选项。(3) 在弹出的界面中找到Spark安装包下的“jars”文件夹，... 一、Spark开发环境配置-scala项目1. 确认已安装scala插件2. 创建一个新的scala工程（在已有的scala工程中配置也可以）：3. 配置Spark开发依赖包(1) 点击菜单栏中的“File”->“Project Structure” ，选择“Libraries”。(2) 单击“+”按钮，选择“Java”选项。(3) 在弹出的界面中找到Spark安装包下的“jars”文件夹，...
- 在当今数据驱动的时代，大数据处理技术如Apache Spark已经成为企业数据湖和数据分析的核心组件。然而，在处理海量数据时，数据倾斜问题成为了一个难以忽视的挑战，它不仅会显著降低数据处理效率，甚至可能导致任务失败。本文将深入探讨数据倾斜的概念、产生原因、识别方法，并通过一个现实案例分析，介绍如何在Apache Spark中有效解决数据倾斜问题，辅以代码示例，帮助读者在实践中应对这一挑战。数... 在当今数据驱动的时代，大数据处理技术如Apache Spark已经成为企业数据湖和数据分析的核心组件。然而，在处理海量数据时，数据倾斜问题成为了一个难以忽视的挑战，它不仅会显著降低数据处理效率，甚至可能导致任务失败。本文将深入探讨数据倾斜的概念、产生原因、识别方法，并通过一个现实案例分析，介绍如何在Apache Spark中有效解决数据倾斜问题，辅以代码示例，帮助读者在实践中应对这一挑战。数...
- 想像阅读书本一样阅读数据流？这只有在电影中才有可能发生。 在现实世界中，企业必须使用数据可视化工具来读取原始数据的趋势和模式。大数据可视化是进行各种大数据分析解决的最重要组成部分之一。 一旦原始数据流被以图像形式表示时，以此做决策就变得容易多了。 为了满足并超越客户的期望，大数据可视化工具应该具备这些特征：能够处理不同种类型的传入数据能够应用不同种类的过滤器来调整结果能够在分析过程中与数据集... 想像阅读书本一样阅读数据流？这只有在电影中才有可能发生。 在现实世界中，企业必须使用数据可视化工具来读取原始数据的趋势和模式。大数据可视化是进行各种大数据分析解决的最重要组成部分之一。 一旦原始数据流被以图像形式表示时，以此做决策就变得容易多了。 为了满足并超越客户的期望，大数据可视化工具应该具备这些特征：能够处理不同种类型的传入数据能够应用不同种类的过滤器来调整结果能够在分析过程中与数据集...
- MRSDLIDWSCSS简述半托管式Hadoop全家桶，包含hadoop core、hive、spark、flink、kafka、hbase等主要hadoop生态组件。Hadoop生态Serverless化批(Spark)/流(Flink)/交互式(Presto)融合的云原生大数据处理分析服务。高性能关系型分布式数据仓库。基于开源ES自研改进的搜索服务对标服务/产品A1EMRAthena/... MRSDLIDWSCSS简述半托管式Hadoop全家桶，包含hadoop core、hive、spark、flink、kafka、hbase等主要hadoop生态组件。Hadoop生态Serverless化批(Spark)/流(Flink)/交互式(Presto)融合的云原生大数据处理分析服务。高性能关系型分布式数据仓库。基于开源ES自研改进的搜索服务对标服务/产品A1EMRAthena/...
上滑加载中
推荐直播
-
华为云码道Agent集成与鸿蒙实战2026/08/11 周二 19:00-21:00
王一男-华为云码道产品规划专家；李炎-华为云码道产品专家；彭江敏-华为云鸿蒙端云一体化开发专家
本次直播带你解读华为云码道7月份产品新特性、新功能。更有专家演示码道Agent Space × 钉钉机器集成实战，从0到1打通消息通道；码道鸿蒙端云一体化实战，快速搭建员工签到系统。
回顾中 -
华为云开发者AI素养直播课·第五期2026/09/04 周五 16:00-18:00
林华鼎-华为云AI开发者运营负责人；蒋春阳-华为云AI开发者案例开发专家
本期直播内容： AI工具体验营 · 第5-8课连讲。Agent-Team 多智能体协作完成毕业设计实践
回顾中 -
华为云开发者AI素养ClassRoom·第六期2026/09/08 周二 19:00-20:00
樊渊-2026华为软件挑战赛冠军
高手来了：看软挑高手解析二维排样问题—从工业难题到算法突破
回顾中
热门标签