- 一、概述 概念：是一个可靠的、可伸缩的、分布式计算的开源软件。是一个框架，允许跨越计算机集群的大数据及分布式处理，使用简单的编程模型（mapreduce）可从单台服务器扩展至几千台主机，每个节点提供了计算和存储功能。不依赖于硬件处理HA，在应用层面实现 特性4V：volumn 体量大velocity 速度快variaty 样式多value 价值密度低 模块：hadoop common... 一、概述 概念：是一个可靠的、可伸缩的、分布式计算的开源软件。是一个框架，允许跨越计算机集群的大数据及分布式处理，使用简单的编程模型（mapreduce）可从单台服务器扩展至几千台主机，每个节点提供了计算和存储功能。不依赖于硬件处理HA，在应用层面实现 特性4V：volumn 体量大velocity 速度快variaty 样式多value 价值密度低 模块：hadoop common...
- MRS CDL是FusionInsight MRS推出的一种数据实时同步服务，旨在将传统OLTP数据库中的事件信息捕捉并实时推送到大数据产品中去，本文档会详细为大家介绍CDL的整体架构以及关键技术。 MRS CDL是FusionInsight MRS推出的一种数据实时同步服务，旨在将传统OLTP数据库中的事件信息捕捉并实时推送到大数据产品中去，本文档会详细为大家介绍CDL的整体架构以及关键技术。
- Hadoop 入门教程 Hadoop 入门教程
- 在数据和经济时代，业务和数据的多样性需要新的计算架构，海量的数据增长也带来了更高的计算需求。那么在这个过程中，鲲鹏计算产业也正在成为更多计算场景的新一代 IP 基座。基于华为鲲鹏处理器构建的鲲鹏全栈 IT 技术实施设施行业应用以及服务，致力于为智能世界持续提供我们的先进算力支持，使得各个行业可以实现数字化转型。应用软件的迁移与优化一直是鲲鹏软件生态的难点和关键。本次鲲鹏 BoostKit 训练营为 在数据和经济时代，业务和数据的多样性需要新的计算架构，海量的数据增长也带来了更高的计算需求。那么在这个过程中，鲲鹏计算产业也正在成为更多计算场景的新一代 IP 基座。基于华为鲲鹏处理器构建的鲲鹏全栈 IT 技术实施设施行业应用以及服务，致力于为智能世界持续提供我们的先进算力支持，使得各个行业可以实现数字化转型。应用软件的迁移与优化一直是鲲鹏软件生态的难点和关键。本次鲲鹏 BoostKit 训练营为
- hive数据迁移到clickhouse—使用Waterdrop工具参考链接基于荣耀客户的需求，测试Waterdrop从云EI的hive-spark集群上迁移数据到clickhouse集群 hive数据迁移到clickhouse—使用Waterdrop工具 Waterdrop hive-spark集群 clickhouse集群 batch.conf 数据迁移 迁移结果 waterdrop性能... hive数据迁移到clickhouse—使用Waterdrop工具参考链接基于荣耀客户的需求，测试Waterdrop从云EI的hive-spark集群上迁移数据到clickhouse集群 hive数据迁移到clickhouse—使用Waterdrop工具 Waterdrop hive-spark集群 clickhouse集群 batch.conf 数据迁移 迁移结果 waterdrop性能...
- 介绍了HDFS是什么、HDFS的优缺点，NameNode节点、DataNode节点、SecondaryNameNode节点的 定义 及 功能 介绍。 介绍了HDFS是什么、HDFS的优缺点，NameNode节点、DataNode节点、SecondaryNameNode节点的 定义 及 功能 介绍。
- 各位进阶中的开发者们，大数据全栈成长计划第三阶段所有学习任务都已经结束大家心心念念的最终积分排行榜也已经出炉我们设置学习任务的目的就是想让大家在听课之余，用作业和心得来检验自己的学习成果最终积分排名会按照活动帖中符合条件的1-50名有实体奖品当排名节点处出现同分时，我们的评判标准为：阶段考核>问答官>分享转发>每周学习笔记>每章随堂测验；根据每个项目打卡时间的先后顺序排名积分统计依据：序号阶... 各位进阶中的开发者们，大数据全栈成长计划第三阶段所有学习任务都已经结束大家心心念念的最终积分排行榜也已经出炉我们设置学习任务的目的就是想让大家在听课之余，用作业和心得来检验自己的学习成果最终积分排名会按照活动帖中符合条件的1-50名有实体奖品当排名节点处出现同分时，我们的评判标准为：阶段考核>问答官>分享转发>每周学习笔记>每章随堂测验；根据每个项目打卡时间的先后顺序排名积分统计依据：序号阶...
- 1、在软件包所在目录解压Hbase压缩包[root@win1 soft]# tar -zxvf hbase-1.3.2-bin.tar.gz[root@win1 soft]# lshadoop-2.7.7 hbase-1.3.2 jdk1.8.0_161 zookeeper-3.4.12hadoop-2.7.7.tar.gz hbase-... 1、在软件包所在目录解压Hbase压缩包[root@win1 soft]# tar -zxvf hbase-1.3.2-bin.tar.gz[root@win1 soft]# lshadoop-2.7.7 hbase-1.3.2 jdk1.8.0_161 zookeeper-3.4.12hadoop-2.7.7.tar.gz hbase-...
- 大数据基础学习四：伪分布式 Hadoop 在 Ubuntu 上的安装流程完整步骤、易错点分析及需要注意的问题（以 ubuntu-18.04.3、hadoop-3.2.1-tar.gz 为例），本系列的其他文章可以移步本人大数据专栏进行查看。对于本篇文章，我个人是很有自信的，一篇文章掌握一门课程核心技术点。 大数据基础学习四：伪分布式 Hadoop 在 Ubuntu 上的安装流程完整步骤、易错点分析及需要注意的问题（以 ubuntu-18.04.3、hadoop-3.2.1-tar.gz 为例），本系列的其他文章可以移步本人大数据专栏进行查看。对于本篇文章，我个人是很有自信的，一篇文章掌握一门课程核心技术点。
- 解决 Apache Hadoop 启动时 DataNode 没有启动的问题（注意这会删除 HDFS 中原有的所有数据，如果原有的数据很重要请不要这样做）。 解决 Apache Hadoop 启动时 DataNode 没有启动的问题（注意这会删除 HDFS 中原有的所有数据，如果原有的数据很重要请不要这样做）。
- 1. HDFS操作常用Shell命令 1.1 查看命令使用方法 启动Hadoop start-dfs.sh 1 查看各种命令 hdfs dfs -help 1 1.2 HDFS目录操作 ... 1. HDFS操作常用Shell命令 1.1 查看命令使用方法 启动Hadoop start-dfs.sh 1 查看各种命令 hdfs dfs -help 1 1.2 HDFS目录操作 ...
- 01什么是小文件？生产上，我们往往将Spark SQL作为Hive的替代方案，来获得SQL on Hadoop更出色的性能。因此，本文所讲的是指存储于HDFS中小文件，即指文件的大小远小于HDFS上块（dfs.block.size）大小的文件。02小文件问题的影响一方面，大量的小文件会给Hadoop集群的扩展性和性能带来严重的影响。NameNode在内存中维护整个文件系统的元数据镜像，用户... 01什么是小文件？生产上，我们往往将Spark SQL作为Hive的替代方案，来获得SQL on Hadoop更出色的性能。因此，本文所讲的是指存储于HDFS中小文件，即指文件的大小远小于HDFS上块（dfs.block.size）大小的文件。02小文件问题的影响一方面，大量的小文件会给Hadoop集群的扩展性和性能带来严重的影响。NameNode在内存中维护整个文件系统的元数据镜像，用户...
- Hadoop Could not locate executable null 解决办法在使用Hadoop进行大数据处理时，可能会遇到“Could not locate executable null”这样的错误。这个错误通常出现在执行MapReduce任务时，表示Hadoop无法找到某个可执行文件。本文将探讨该问题的可能原因及解决方法。1. 错误现象当你尝试运行一个MapReduce作业时... Hadoop Could not locate executable null 解决办法在使用Hadoop进行大数据处理时，可能会遇到“Could not locate executable null”这样的错误。这个错误通常出现在执行MapReduce任务时，表示Hadoop无法找到某个可执行文件。本文将探讨该问题的可能原因及解决方法。1. 错误现象当你尝试运行一个MapReduce作业时...
- 在大数据处理领域，Hadoop分布式文件系统（HDFS）是一种非常常用的存储解决方案，尤其适用于存储和管理大量的结构化或非结构化数据。HDFS的分布式特性和高容错能力使其成为处理大规模数据集的首选平台。而Python作为一种流行的编程语言，拥有丰富的生态系统，可以与HDFS进行无缝集成，用于大规模数据的存储、管理和处理。本文将介绍如何使用Python与HDFS结合，以高效处理分布式数据。我们... 在大数据处理领域，Hadoop分布式文件系统（HDFS）是一种非常常用的存储解决方案，尤其适用于存储和管理大量的结构化或非结构化数据。HDFS的分布式特性和高容错能力使其成为处理大规模数据集的首选平台。而Python作为一种流行的编程语言，拥有丰富的生态系统，可以与HDFS进行无缝集成，用于大规模数据的存储、管理和处理。本文将介绍如何使用Python与HDFS结合，以高效处理分布式数据。我们...
- 在现代大数据应用中，Hadoop和Spark作为两种主流的大数据处理框架，广泛用于数据存储、处理和分析。Hadoop主要用于分布式存储（通过HDFS）和分布式计算（通过MapReduce），而Spark则提供了更高效、易用的处理能力，特别适合批量和流数据的处理。Python作为一种易于学习和使用的编程语言，结合Hadoop和Spark的能力，可以大大提升大数据处理的效率和便捷性。本文将介绍如... 在现代大数据应用中，Hadoop和Spark作为两种主流的大数据处理框架，广泛用于数据存储、处理和分析。Hadoop主要用于分布式存储（通过HDFS）和分布式计算（通过MapReduce），而Spark则提供了更高效、易用的处理能力，特别适合批量和流数据的处理。Python作为一种易于学习和使用的编程语言，结合Hadoop和Spark的能力，可以大大提升大数据处理的效率和便捷性。本文将介绍如...
上滑加载中
推荐直播
0.5
-
从AI基础到昇腾：大模型初探、DeepSeek解析与昇腾入门2025/04/02 周三 16:00-17:30
不易 / 华为云学堂技术讲师
昇腾是华为研发的AI芯片，其具有哪些能力？我们如何基于其进行开发？本期直播将从AI以及大模型基础知识开始，介绍人工智能核心概念、昇腾AI基础软硬件平台以及昇腾专区，旨在为零基础或入门级学习者搭建从AI基础知识到昇腾技术的完整学习路径。
回顾中 -
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day1）2025/03/29 周六 09:00-18:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中 -
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day2）2025/03/30 周日 09:00-12:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中 -
从AI基础到昇腾：大模型初探、DeepSeek解析与昇腾入门
2025/04/02 周三 16:00-17:30
不易 / 华为云学堂技术讲师
昇腾是华为研发的AI芯片，其具有哪些能力？我们如何基于其进行开发？本期直播将从AI以及大模型基础知识开始，介绍人工智能核心概念、昇腾AI基础软硬件平台以及昇腾专区，旨在为零基础或入门级学习者搭建从AI基础知识到昇腾技术的完整学习路径。
回顾中 -
基于开源鸿蒙+海思星闪开发板：嵌入式系统开发实战（Day1）
2025/03/29 周六 09:00-18:00
华为开发者布道师
本次为期两天的课程将深入讲解OpenHarmony操作系统及其与星闪技术的结合应用，涵盖WS63E星闪开发板的详细介绍、“OpenHarmony+星闪”的创新实践、实验环境搭建以及编写首个“Hello World”程序等内容，旨在帮助学员全面掌握相关技术并进行实际操作
回顾中
热门标签
