- 存算分离方案为什么要用OBS的并行文件桶？相比普通对象桶有什么好处？答：并行文件桶是OBS专门为大数据场景所推出的针对性方案，它的好处是提供了标准Posix文件语义，并且能够实现hdfs rename等语义的原子操作，确保大数据的计算性能。 使用obs存算分离方案为什么能做到避免namenode压力的问题？答：1.首先，因为使用OBS方案之后，数据存储在OBS，元数据也保存在OBS，hdfs... 存算分离方案为什么要用OBS的并行文件桶？相比普通对象桶有什么好处？答：并行文件桶是OBS专门为大数据场景所推出的针对性方案，它的好处是提供了标准Posix文件语义，并且能够实现hdfs rename等语义的原子操作，确保大数据的计算性能。 使用obs存算分离方案为什么能做到避免namenode压力的问题？答：1.首先，因为使用OBS方案之后，数据存储在OBS，元数据也保存在OBS，hdfs...
- Spark集群的安装配置1. spark安装包上传与解压1 用XShell传输工具XFtp将Spark安装包spark-3.2.1-bin-hadoop2.7.tgz导入到opt目录下面的software文件夹下2 将JDK和hadoop安装包解压到/opt/module目录下[syf@hadoop102 ~]$ tar -zxvf /opt/software/spark-3.2.1-b... Spark集群的安装配置1. spark安装包上传与解压1 用XShell传输工具XFtp将Spark安装包spark-3.2.1-bin-hadoop2.7.tgz导入到opt目录下面的software文件夹下2 将JDK和hadoop安装包解压到/opt/module目录下[syf@hadoop102 ~]$ tar -zxvf /opt/software/spark-3.2.1-b...
- 什么是存算分离大数据？ 华为云存算分离方案相对于传统本地盘方案有什么优势？ 存算分离能节省多少成本？ 用了存算分离方案是不是必须使用华为 什么是存算分离大数据？ 华为云存算分离方案相对于传统本地盘方案有什么优势？ 存算分离能节省多少成本？ 用了存算分离方案是不是必须使用华为
- Hive优化 本质：HDFS + MapReduce 问题原因：倾斜：分区：有的分区没有数据，有的分区数据堆积。(若按天分区，每一天数据差别大就叫倾斜。)group by：有的分组键在表中数据很多，有的分组键数据很少。小表 join 大表：小表数据小，大表数据多，造成倾斜。如何识别倾斜？- 若表为分区分桶表，以分区字段作为聚合条件聚合，并进行抽样。- 若有HDFS的权限，查看分区文件夹的大... Hive优化 本质：HDFS + MapReduce 问题原因：倾斜：分区：有的分区没有数据，有的分区数据堆积。(若按天分区，每一天数据差别大就叫倾斜。)group by：有的分组键在表中数据很多，有的分组键数据很少。小表 join 大表：小表数据小，大表数据多，造成倾斜。如何识别倾斜？- 若表为分区分桶表，以分区字段作为聚合条件聚合，并进行抽样。- 若有HDFS的权限，查看分区文件夹的大...
- 《吊打面试官》- 大数据工程师50道中大厂面试真题保姆级详解 《吊打面试官》- 大数据工程师50道中大厂面试真题保姆级详解
- 随着数据量的不断增长，大规模数据处理变得越来越重要。在这个领域，Hadoop和Spark是两个备受关注的技术。本文将介绍如何利用Python编程语言结合Hadoop和Spark来进行大规模数据处理，并比较它们在不同方面的优劣。 简介 HadoopHadoop是一个开源的分布式数据处理框架，它基于MapReduce编程模型，可以处理大规模数据集。Hadoop包括HDFS（分布式文件系统）和Ma... 随着数据量的不断增长，大规模数据处理变得越来越重要。在这个领域，Hadoop和Spark是两个备受关注的技术。本文将介绍如何利用Python编程语言结合Hadoop和Spark来进行大规模数据处理，并比较它们在不同方面的优劣。 简介 HadoopHadoop是一个开源的分布式数据处理框架，它基于MapReduce编程模型，可以处理大规模数据集。Hadoop包括HDFS（分布式文件系统）和Ma...
- Hive 取两个字符串的相同部分在数据处理中，有时候我们需要比较两个字符串并找出它们之间的相同部分。在Hive中，我们可以使用一些内置函数来实现这一目的。本篇文章将介绍如何在Hive中取两个字符串的相同部分。1. 使用内置函数regexp_extract结合正则表达式实现可以通过regexp_extract函数结合正则表达式来提取两个字符串的相同部分。以下是一个示例：sqlCopy code... Hive 取两个字符串的相同部分在数据处理中，有时候我们需要比较两个字符串并找出它们之间的相同部分。在Hive中，我们可以使用一些内置函数来实现这一目的。本篇文章将介绍如何在Hive中取两个字符串的相同部分。1. 使用内置函数regexp_extract结合正则表达式实现可以通过regexp_extract函数结合正则表达式来提取两个字符串的相同部分。以下是一个示例：sqlCopy code...
- k8s搭建Hadoop在大数据处理领域，Hadoop是一个被广泛使用的开源分布式存储和计算框架。而Kubernetes（k8s）是一个用于自动部署、扩展和管理容器化应用程序的开源平台。本篇技术博客将介绍如何使用Kubernetes搭建Hadoop集群，实现分布式的大数据处理。步骤一：创建Kubernetes集群首先，我们需要搭建一个Kubernetes集群。可以使用Minikube来在本地快... k8s搭建Hadoop在大数据处理领域，Hadoop是一个被广泛使用的开源分布式存储和计算框架。而Kubernetes（k8s）是一个用于自动部署、扩展和管理容器化应用程序的开源平台。本篇技术博客将介绍如何使用Kubernetes搭建Hadoop集群，实现分布式的大数据处理。步骤一：创建Kubernetes集群首先，我们需要搭建一个Kubernetes集群。可以使用Minikube来在本地快...
- Hadoop详解MapReduce过程介绍Hadoop是一个开源的分布式计算框架，其中的MapReduce是其核心编程模型之一。MapReduce过程是Hadoop用来处理大规模数据集的一种并行计算模型，在大数据处理中被广泛应用。本文将详细介绍Hadoop中的MapReduce过程。MapReduce过程详解MapReduce过程主要包含两个阶段：Map阶段和Reduce阶段，分别对应两个函... Hadoop详解MapReduce过程介绍Hadoop是一个开源的分布式计算框架，其中的MapReduce是其核心编程模型之一。MapReduce过程是Hadoop用来处理大规模数据集的一种并行计算模型，在大数据处理中被广泛应用。本文将详细介绍Hadoop中的MapReduce过程。MapReduce过程详解MapReduce过程主要包含两个阶段：Map阶段和Reduce阶段，分别对应两个函...
- Hadoop Data目录在Hadoop分布式存储系统中，Data目录是非常重要的一个目录，用于存储HDFS（Hadoop Distributed File System）的数据块。在Hadoop集群中，每个数据节点都会有一个Data目录，用来存储该节点上的数据块。本篇博客将详细介绍Hadoop Data目录的相关内容。1. Data目录位置通常情况下，Hadoop Data目录的位置位于H... Hadoop Data目录在Hadoop分布式存储系统中，Data目录是非常重要的一个目录，用于存储HDFS（Hadoop Distributed File System）的数据块。在Hadoop集群中，每个数据节点都会有一个Data目录，用来存储该节点上的数据块。本篇博客将详细介绍Hadoop Data目录的相关内容。1. Data目录位置通常情况下，Hadoop Data目录的位置位于H...
- 1． 因为之前的是master,修改主机名修改主机名是自己需要的名字。查看主机名发现还是had1,怎么办？需要reboot重启一下啊！！！重启完毕再看！！！2. 克隆主机注意，必须是完整克隆，否则就是假克隆。查看网址，发现有问题哦：因为原来老的网卡的是eth0，则默认新的是eth1,所以，需要删除旧的网卡，即删除eth0vi /etc/udev/rules.d/70-persistent-n... 1． 因为之前的是master,修改主机名修改主机名是自己需要的名字。查看主机名发现还是had1,怎么办？需要reboot重启一下啊！！！重启完毕再看！！！2. 克隆主机注意，必须是完整克隆，否则就是假克隆。查看网址，发现有问题哦：因为原来老的网卡的是eth0，则默认新的是eth1,所以，需要删除旧的网卡，即删除eth0vi /etc/udev/rules.d/70-persistent-n...
- 一、背景Hadoop业务的整体开发流程： 从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步.许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：（1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；（2） 支持近实时... 一、背景Hadoop业务的整体开发流程： 从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步.许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：（1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；（2） 支持近实时...
- 本文介绍了基于Hadoop的音乐推荐系统的实现原理和背景。随着互联网的发展和音乐流媒体服务的普及，用户面临选择困难和信息过载的问题。为解决这一问题，音乐推荐系统应运而生。然而，音乐推荐系统面临着挑战，包括庞大的音乐数据量和计算复杂度。为了解决这些问题，该项目采用基于Hadoop的分布式计算框架，通过存储音乐数据在Hadoop分布式文件系统（HDFS）中，并利用Hadoop的MapReduce等计算 本文介绍了基于Hadoop的音乐推荐系统的实现原理和背景。随着互联网的发展和音乐流媒体服务的普及，用户面临选择困难和信息过载的问题。为解决这一问题，音乐推荐系统应运而生。然而，音乐推荐系统面临着挑战，包括庞大的音乐数据量和计算复杂度。为了解决这些问题，该项目采用基于Hadoop的分布式计算框架，通过存储音乐数据在Hadoop分布式文件系统（HDFS）中，并利用Hadoop的MapReduce等计算
- 目录操作位置上传压缩包解压及修改文件夹名称免密配置将秘钥拷贝到本机Java环境配置与Hadoop环境配置执行脚本修改hadoop配置文件1、修改hadoop-env.sh2、修改yarn-env.sh3、修改core-site.xml4、修改hdfs-site.xml5、修改mapred-site.xml6、修改yarn-site.xmlhadoop初始化配置启动Hadoop服务访问服务操... 目录操作位置上传压缩包解压及修改文件夹名称免密配置将秘钥拷贝到本机Java环境配置与Hadoop环境配置执行脚本修改hadoop配置文件1、修改hadoop-env.sh2、修改yarn-env.sh3、修改core-site.xml4、修改hdfs-site.xml5、修改mapred-site.xml6、修改yarn-site.xmlhadoop初始化配置启动Hadoop服务访问服务操...
- Flink集群部署Flink的安装和部署主要分为本地（单机）模式和集群模式，其中本地模式只需直接解压就可以使用，不用修改任何参数，一般在做一些简单测试的时候使用。本地模式在这里不再赘述。集群部署模式主要包含Standalone、Hadoop Yarn 、Kubernetes等，Flink可以借助以上资源管理器来实现分布式计算，目前企业使用最多的是Flink 基于Hadoop Yarn资源管理... Flink集群部署Flink的安装和部署主要分为本地（单机）模式和集群模式，其中本地模式只需直接解压就可以使用，不用修改任何参数，一般在做一些简单测试的时候使用。本地模式在这里不再赘述。集群部署模式主要包含Standalone、Hadoop Yarn 、Kubernetes等，Flink可以借助以上资源管理器来实现分布式计算，目前企业使用最多的是Flink 基于Hadoop Yarn资源管理...
上滑加载中
推荐直播
-
Ascend C算子编程之旅：基础入门篇2024/11/22 周五 16:00-17:30
莫老师 昇腾CANN专家
介绍Ascend C算子基本概念、异构计算架构CANN和Ascend C基本概述，以及Ascend C快速入门，夯实Ascend C算子编程基础
回顾中 -
深入解析：华为全栈AI解决方案与云智能开放能力2024/11/22 周五 18:20-20:20
Alex 华为云学堂技术讲师
本期直播我们将重点为大家介绍华为全栈全场景AI解决方案以和华为云企业智能AI开放能力。旨在帮助开发者深入理解华为AI解决方案，并能够更加熟练地运用这些技术。通过洞悉华为解决方案，了解人工智能完整生态链条的构造。
回顾中 -
华为云DataArts+DWS助力企业数据治理一站式解决方案及应用实践2024/11/27 周三 16:30-18:00
Walter.chi 华为云数据治理DTSE技术布道师
想知道数据治理项目中，数据主题域如何合理划分？数据标准及主数据标准如何制定？数仓分层模型如何合理规划？华为云DataArts+DWS助力企业数据治理项目一站式解决方案和应用实践告诉您答案！本期将从数据趋势、数据治理方案、数据治理规划及落地，案例分享四个方面来助力企业数据治理项目合理咨询规划及顺利实施。
去报名
热门标签