- 一、概述 概念：是一个可靠的、可伸缩的、分布式计算的开源软件。是一个框架，允许跨越计算机集群的大数据及分布式处理，使用简单的编程模型（mapreduce）可从单台服务器扩展至几千台主机，每个节点提供了计算和存储功能。不依赖于硬件处理HA，在应用层面实现 特性4V：volumn 体量大velocity 速度快variaty 样式多value 价值密度低 模块：hadoop common... 一、概述 概念：是一个可靠的、可伸缩的、分布式计算的开源软件。是一个框架，允许跨越计算机集群的大数据及分布式处理，使用简单的编程模型（mapreduce）可从单台服务器扩展至几千台主机，每个节点提供了计算和存储功能。不依赖于硬件处理HA，在应用层面实现 特性4V：volumn 体量大velocity 速度快variaty 样式多value 价值密度低 模块：hadoop common...
- MRS CDL是FusionInsight MRS推出的一种数据实时同步服务，旨在将传统OLTP数据库中的事件信息捕捉并实时推送到大数据产品中去，本文档会详细为大家介绍CDL的整体架构以及关键技术。 MRS CDL是FusionInsight MRS推出的一种数据实时同步服务，旨在将传统OLTP数据库中的事件信息捕捉并实时推送到大数据产品中去，本文档会详细为大家介绍CDL的整体架构以及关键技术。
- Hadoop 入门教程 Hadoop 入门教程
- 在数据和经济时代，业务和数据的多样性需要新的计算架构，海量的数据增长也带来了更高的计算需求。那么在这个过程中，鲲鹏计算产业也正在成为更多计算场景的新一代 IP 基座。基于华为鲲鹏处理器构建的鲲鹏全栈 IT 技术实施设施行业应用以及服务，致力于为智能世界持续提供我们的先进算力支持，使得各个行业可以实现数字化转型。应用软件的迁移与优化一直是鲲鹏软件生态的难点和关键。本次鲲鹏 BoostKit 训练营为 在数据和经济时代，业务和数据的多样性需要新的计算架构，海量的数据增长也带来了更高的计算需求。那么在这个过程中，鲲鹏计算产业也正在成为更多计算场景的新一代 IP 基座。基于华为鲲鹏处理器构建的鲲鹏全栈 IT 技术实施设施行业应用以及服务，致力于为智能世界持续提供我们的先进算力支持，使得各个行业可以实现数字化转型。应用软件的迁移与优化一直是鲲鹏软件生态的难点和关键。本次鲲鹏 BoostKit 训练营为
- hive数据迁移到clickhouse—使用Waterdrop工具参考链接基于荣耀客户的需求，测试Waterdrop从云EI的hive-spark集群上迁移数据到clickhouse集群 hive数据迁移到clickhouse—使用Waterdrop工具 Waterdrop hive-spark集群 clickhouse集群 batch.conf 数据迁移 迁移结果 waterdrop性能... hive数据迁移到clickhouse—使用Waterdrop工具参考链接基于荣耀客户的需求，测试Waterdrop从云EI的hive-spark集群上迁移数据到clickhouse集群 hive数据迁移到clickhouse—使用Waterdrop工具 Waterdrop hive-spark集群 clickhouse集群 batch.conf 数据迁移 迁移结果 waterdrop性能...
- 介绍了HDFS是什么、HDFS的优缺点，NameNode节点、DataNode节点、SecondaryNameNode节点的 定义 及 功能 介绍。 介绍了HDFS是什么、HDFS的优缺点，NameNode节点、DataNode节点、SecondaryNameNode节点的 定义 及 功能 介绍。
- 各位进阶中的开发者们，大数据全栈成长计划第三阶段所有学习任务都已经结束大家心心念念的最终积分排行榜也已经出炉我们设置学习任务的目的就是想让大家在听课之余，用作业和心得来检验自己的学习成果最终积分排名会按照活动帖中符合条件的1-50名有实体奖品当排名节点处出现同分时，我们的评判标准为：阶段考核>问答官>分享转发>每周学习笔记>每章随堂测验；根据每个项目打卡时间的先后顺序排名积分统计依据：序号阶... 各位进阶中的开发者们，大数据全栈成长计划第三阶段所有学习任务都已经结束大家心心念念的最终积分排行榜也已经出炉我们设置学习任务的目的就是想让大家在听课之余，用作业和心得来检验自己的学习成果最终积分排名会按照活动帖中符合条件的1-50名有实体奖品当排名节点处出现同分时，我们的评判标准为：阶段考核>问答官>分享转发>每周学习笔记>每章随堂测验；根据每个项目打卡时间的先后顺序排名积分统计依据：序号阶...
- 1、在软件包所在目录解压Hbase压缩包[root@win1 soft]# tar -zxvf hbase-1.3.2-bin.tar.gz[root@win1 soft]# lshadoop-2.7.7 hbase-1.3.2 jdk1.8.0_161 zookeeper-3.4.12hadoop-2.7.7.tar.gz hbase-... 1、在软件包所在目录解压Hbase压缩包[root@win1 soft]# tar -zxvf hbase-1.3.2-bin.tar.gz[root@win1 soft]# lshadoop-2.7.7 hbase-1.3.2 jdk1.8.0_161 zookeeper-3.4.12hadoop-2.7.7.tar.gz hbase-...
- 大数据基础学习四：伪分布式 Hadoop 在 Ubuntu 上的安装流程完整步骤、易错点分析及需要注意的问题（以 ubuntu-18.04.3、hadoop-3.2.1-tar.gz 为例），本系列的其他文章可以移步本人大数据专栏进行查看。对于本篇文章，我个人是很有自信的，一篇文章掌握一门课程核心技术点。 大数据基础学习四：伪分布式 Hadoop 在 Ubuntu 上的安装流程完整步骤、易错点分析及需要注意的问题（以 ubuntu-18.04.3、hadoop-3.2.1-tar.gz 为例），本系列的其他文章可以移步本人大数据专栏进行查看。对于本篇文章，我个人是很有自信的，一篇文章掌握一门课程核心技术点。
- 解决 Apache Hadoop 启动时 DataNode 没有启动的问题（注意这会删除 HDFS 中原有的所有数据，如果原有的数据很重要请不要这样做）。 解决 Apache Hadoop 启动时 DataNode 没有启动的问题（注意这会删除 HDFS 中原有的所有数据，如果原有的数据很重要请不要这样做）。
- 1. HDFS操作常用Shell命令 1.1 查看命令使用方法 启动Hadoop start-dfs.sh 1 查看各种命令 hdfs dfs -help 1 1.2 HDFS目录操作 ... 1. HDFS操作常用Shell命令 1.1 查看命令使用方法 启动Hadoop start-dfs.sh 1 查看各种命令 hdfs dfs -help 1 1.2 HDFS目录操作 ...
- 01什么是小文件？生产上，我们往往将Spark SQL作为Hive的替代方案，来获得SQL on Hadoop更出色的性能。因此，本文所讲的是指存储于HDFS中小文件，即指文件的大小远小于HDFS上块（dfs.block.size）大小的文件。02小文件问题的影响一方面，大量的小文件会给Hadoop集群的扩展性和性能带来严重的影响。NameNode在内存中维护整个文件系统的元数据镜像，用户... 01什么是小文件？生产上，我们往往将Spark SQL作为Hive的替代方案，来获得SQL on Hadoop更出色的性能。因此，本文所讲的是指存储于HDFS中小文件，即指文件的大小远小于HDFS上块（dfs.block.size）大小的文件。02小文件问题的影响一方面，大量的小文件会给Hadoop集群的扩展性和性能带来严重的影响。NameNode在内存中维护整个文件系统的元数据镜像，用户...
- 在大数据处理领域，Hadoop分布式文件系统（HDFS）是一种非常常用的存储解决方案，尤其适用于存储和管理大量的结构化或非结构化数据。HDFS的分布式特性和高容错能力使其成为处理大规模数据集的首选平台。而Python作为一种流行的编程语言，拥有丰富的生态系统，可以与HDFS进行无缝集成，用于大规模数据的存储、管理和处理。本文将介绍如何使用Python与HDFS结合，以高效处理分布式数据。我们... 在大数据处理领域，Hadoop分布式文件系统（HDFS）是一种非常常用的存储解决方案，尤其适用于存储和管理大量的结构化或非结构化数据。HDFS的分布式特性和高容错能力使其成为处理大规模数据集的首选平台。而Python作为一种流行的编程语言，拥有丰富的生态系统，可以与HDFS进行无缝集成，用于大规模数据的存储、管理和处理。本文将介绍如何使用Python与HDFS结合，以高效处理分布式数据。我们...
- 在现代大数据应用中，Hadoop和Spark作为两种主流的大数据处理框架，广泛用于数据存储、处理和分析。Hadoop主要用于分布式存储（通过HDFS）和分布式计算（通过MapReduce），而Spark则提供了更高效、易用的处理能力，特别适合批量和流数据的处理。Python作为一种易于学习和使用的编程语言，结合Hadoop和Spark的能力，可以大大提升大数据处理的效率和便捷性。本文将介绍如... 在现代大数据应用中，Hadoop和Spark作为两种主流的大数据处理框架，广泛用于数据存储、处理和分析。Hadoop主要用于分布式存储（通过HDFS）和分布式计算（通过MapReduce），而Spark则提供了更高效、易用的处理能力，特别适合批量和流数据的处理。Python作为一种易于学习和使用的编程语言，结合Hadoop和Spark的能力，可以大大提升大数据处理的效率和便捷性。本文将介绍如...
- 详解WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable最近，你在使用Hadoop开源分布式处理框架时，可能会遇到如下警告信息：plaintextCopy codeWARN util.Na... 详解WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable最近，你在使用Hadoop开源分布式处理框架时，可能会遇到如下警告信息：plaintextCopy codeWARN util.Na...
上滑加载中
推荐直播
-
OpenHarmony应用开发之网络数据请求与数据解析2025/01/16 周四 19:00-20:30
华为开发者布道师、南京师范大学泰州学院副教授，硕士研究生导师，开放原子教育银牌认证讲师
科技浪潮中，鸿蒙生态强势崛起，OpenHarmony开启智能终端无限可能。当下，其原生应用开发适配潜力巨大，终端设备已广泛融入生活各场景，从家居到办公、穿戴至车载。 现在，机会敲门！我们的直播聚焦OpenHarmony关键的网络数据请求与解析，抛开晦涩理论，用真实案例带你掌握数据访问接口，轻松应对复杂网络请求、精准解析Json与Xml数据。参与直播，为开发鸿蒙App夯实基础，抢占科技新高地，别错过！
回顾中 -
Ascend C高层API设计原理与实现系列2025/01/17 周五 15:30-17:00
Ascend C 技术专家
以LayerNorm算子开发为例，讲解开箱即用的Ascend C高层API
回顾中
热门标签