- Logistics_Day07：实时增量ETL存储Kudu 01-[复习]-上次课程内容回顾 主要讲解：Kudu 存储引擎，类似HBase数据库，存储数据，诞生目的：取代HDFS和HBase，既能够实现随机读写数据，又能够批量加载分析。1）、针对海量数据随机读写，实现HBase数据库功能2）、针对海量数据批量加载，尤其列式存储Parquet Kudu框架诞生之初，考虑与... Logistics_Day07：实时增量ETL存储Kudu 01-[复习]-上次课程内容回顾 主要讲解：Kudu 存储引擎，类似HBase数据库，存储数据，诞生目的：取代HDFS和HBase，既能够实现随机读写数据，又能够批量加载分析。1）、针对海量数据随机读写，实现HBase数据库功能2）、针对海量数据批量加载，尤其列式存储Parquet Kudu框架诞生之初，考虑与...
- GHSL 依赖于新的空间数据挖掘技术的设计和实施，允许从大量异构数据中自动处理和提取分析和知识，这些数据包括：全球、精细规模的卫星图像数据流、人口普查数据和人群来源或自愿地理信息来源。GHS-SMOD 是 GHSL 采用的城乡聚落分类模型。它是城市化程度 ( DEGURBA ) 概念在 GHSL 数据场景中的表示。GHS-SMOD 中的每个网格都是通过整合 GHSL 建成区和 GHSL ... GHSL 依赖于新的空间数据挖掘技术的设计和实施，允许从大量异构数据中自动处理和提取分析和知识，这些数据包括：全球、精细规模的卫星图像数据流、人口普查数据和人群来源或自愿地理信息来源。GHS-SMOD 是 GHSL 采用的城乡聚落分类模型。它是城市化程度 ( DEGURBA ) 概念在 GHSL 数据场景中的表示。GHS-SMOD 中的每个网格都是通过整合 GHSL 建成区和 GHSL ...
- The Murray Global Tidal Wetland Change Dataset contains maps of the global extent of tidal wetlands and their change. The maps were developed from a three stage classification that sought to (i) e... The Murray Global Tidal Wetland Change Dataset contains maps of the global extent of tidal wetlands and their change. The maps were developed from a three stage classification that sought to (i) e...
- 11-[掌握]-Java 操作 Kudu之创建表(范围分区)为了提供可扩展性，Kudu 表被划分为称为 tablets 的单元，并分布在许多 tablet servers 上。1）、哈希分区：Hash Partitioning哈希分区通过哈希值，将行分配到不同的 buckets ( 存储桶 )中；哈希分区是一种有效的策略，当不需要对表进行有序访问时，哈希分区对于在 tablet 之间随机散... 11-[掌握]-Java 操作 Kudu之创建表(范围分区)为了提供可扩展性，Kudu 表被划分为称为 tablets 的单元，并分布在许多 tablet servers 上。1）、哈希分区：Hash Partitioning哈希分区通过哈希值，将行分配到不同的 buckets ( 存储桶 )中；哈希分区是一种有效的策略，当不需要对表进行有序访问时，哈希分区对于在 tablet 之间随机散...
- theme: smartblue持续创作，加速成长！这是我参与「掘金日新计划 · 6 月更文挑战」的第8天，点击查看活动详情 业务服务器和大数据服务器 01-[复习]-上次课程内容回顾主要讲解2个方面内容：物流项目业务数据（数据库部署）和OGG 实时采集Oracle数据库表的数据。1、物流项目业务数据 实际物流快递公司来说，有很多业务系统，使用不同类型数据库存储数据，在此仅仅以2个业务系统... theme: smartblue持续创作，加速成长！这是我参与「掘金日新计划 · 6 月更文挑战」的第8天，点击查看活动详情 业务服务器和大数据服务器 01-[复习]-上次课程内容回顾主要讲解2个方面内容：物流项目业务数据（数据库部署）和OGG 实时采集Oracle数据库表的数据。1、物流项目业务数据 实际物流快递公司来说，有很多业务系统，使用不同类型数据库存储数据，在此仅仅以2个业务系统...
- 全球内陆水域数据集显示了内陆地表水体，包括淡水和咸水湖泊、河流和水库。从 GLS 2000 时期开始，已确定了 3,650,723 平方公里的内陆水域，其中约四分之三位于北美和亚洲。北方森林和苔原拥有最大的内陆水域，约占全球总量的 40%。该数据与 MODIS 数据集以及美国和加拿大的 30 米分辨率数据集表现出强线性相关性。残留误差主要是由于水覆盖、冰雪和残留云的季节性。数据集包含每个可... 全球内陆水域数据集显示了内陆地表水体，包括淡水和咸水湖泊、河流和水库。从 GLS 2000 时期开始，已确定了 3,650,723 平方公里的内陆水域，其中约四分之三位于北美和亚洲。北方森林和苔原拥有最大的内陆水域，约占全球总量的 40%。该数据与 MODIS 数据集以及美国和加拿大的 30 米分辨率数据集表现出强线性相关性。残留误差主要是由于水覆盖、冰雪和残留云的季节性。数据集包含每个可...
- Apache HBase™ 是 Hadoop 数据库，一种分布式、可扩展的大数据存储。 Apache HBase™ 是 Hadoop 数据库，一种分布式、可扩展的大数据存储。
- Apache Hive™ 数据仓库软件使用SQL帮助读取、写入和管理驻留在分布式存储中的大型数据集。结构可以投影到已存储的数据上。提供了一个命令行工具和JDBC驱动程序来将用户连接到配置单元。 Apache Hive™ 数据仓库软件使用SQL帮助读取、写入和管理驻留在分布式存储中的大型数据集。结构可以投影到已存储的数据上。提供了一个命令行工具和JDBC驱动程序来将用户连接到配置单元。
- 数据湖概念一、什么是数据湖数据湖是一个集中式的存储库，允许你以任意规模存储多个来源、所有结构化和非结构化数据，可以按照原样存储数据，无需对数据进行结构化处理，并运行不同类型的分析对数据进行加工，例如：大数据处理、实时分析、机器学习，以指导做出更好地决策。二、大数据为什么需要数据湖当前基于Hive的离线数据仓库已经非常成熟，在传统的离线数据仓库中对记录级别的数据进行更新是非常麻烦的，需要对待... 数据湖概念一、什么是数据湖数据湖是一个集中式的存储库，允许你以任意规模存储多个来源、所有结构化和非结构化数据，可以按照原样存储数据，无需对数据进行结构化处理，并运行不同类型的分析对数据进行加工，例如：大数据处理、实时分析、机器学习，以指导做出更好地决策。二、大数据为什么需要数据湖当前基于Hive的离线数据仓库已经非常成熟，在传统的离线数据仓库中对记录级别的数据进行更新是非常麻烦的，需要对待...
- 流行的大数据技术有Hadoop, Storm, Hive、Spark等，这些都是大集群方案，适合有海量规模数据的巨大企业。实际上，流行的大数据技术通常也源自这类头部互联网企业。很多场景下，数据虽然也很多，但小集群甚至无集群就足够处理，远没多到这些巨大企业的规模，也没有那么多的硬件设备和维护人员。这种情况下，就需要轻量级的大数据技术了。轻量级的大数据技术不多，集算器SPL是其中的佼佼者。SPL... 流行的大数据技术有Hadoop, Storm, Hive、Spark等，这些都是大集群方案，适合有海量规模数据的巨大企业。实际上，流行的大数据技术通常也源自这类头部互联网企业。很多场景下，数据虽然也很多，但小集群甚至无集群就足够处理，远没多到这些巨大企业的规模，也没有那么多的硬件设备和维护人员。这种情况下，就需要轻量级的大数据技术了。轻量级的大数据技术不多，集算器SPL是其中的佼佼者。SPL...
- Spark+grafana可视化项目实战，赶快收藏~ Spark+grafana可视化项目实战，赶快收藏~
- 拉链表是缓慢变化维的一种实现形式，是数据仓库的常用数据模型。基于传统大数据需要全量覆盖写的模式进行，基于Hudi的能力，实现方案会更加简单，性能更优。 拉链表是缓慢变化维的一种实现形式，是数据仓库的常用数据模型。基于传统大数据需要全量覆盖写的模式进行，基于Hudi的能力，实现方案会更加简单，性能更优。
- 一、构建Flink程序构建一个Flink程序有两种方式方式一：构建 maven 工程，导入流式应用依赖包<!-- 基础依赖 --><dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>${flink.version}</version> ... 一、构建Flink程序构建一个Flink程序有两种方式方式一：构建 maven 工程，导入流式应用依赖包<!-- 基础依赖 --><dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>${flink.version}</version> ...
- 华为云FusionInsight MRS通过FGL对HDFS NameNode锁机制进行优化，有效提升了NameNode的读写吞吐量，从而能够支持更多数据，更多业务请求访问，从而更好的支撑政企客户高效用数，业务洞见更准，价值兑现更快。 华为云FusionInsight MRS通过FGL对HDFS NameNode锁机制进行优化，有效提升了NameNode的读写吞吐量，从而能够支持更多数据，更多业务请求访问，从而更好的支撑政企客户高效用数，业务洞见更准，价值兑现更快。
- 特性背景1. 实际场景需要支持JDBC客户端跨网络域访问HetuEngine服务端2. 多数据中心的数据互联互通和数据安全管理，是制约数据融合创新，挖掘数据价值的主要矛盾。华为云FusionInsight提供 HetuEngine，将物理分散的数据中心，编织为统一的超级计算网格，让客户告别数据 ETL来回搬迁数据的历史，从单数据湖靠人，迈向安全、高效、智能的跨湖融合与创新特性功能说明1、 ... 特性背景1. 实际场景需要支持JDBC客户端跨网络域访问HetuEngine服务端2. 多数据中心的数据互联互通和数据安全管理，是制约数据融合创新，挖掘数据价值的主要矛盾。华为云FusionInsight提供 HetuEngine，将物理分散的数据中心，编织为统一的超级计算网格，让客户告别数据 ETL来回搬迁数据的历史，从单数据湖靠人，迈向安全、高效、智能的跨湖融合与创新特性功能说明1、 ...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签