- 笔者遇到个突发问题，线上某cdh集群中 (cdh5.14)，cm server所在节点的/var/lib目录被人误删了，误删操作人员已经尝试了从cm agent节点cdh2中，拷贝/var/lib 目录到cm server节点cdh1的/var/lib目录下, 然后重启了cm ser... 笔者遇到个突发问题，线上某cdh集群中 (cdh5.14)，cm server所在节点的/var/lib目录被人误删了，误删操作人员已经尝试了从cm agent节点cdh2中，拷贝/var/lib 目录到cm server节点cdh1的/var/lib目录下, 然后重启了cm ser...
- 关于用户行为分析，很多互联网公司都有相关的需求，虽然业务不同，但是关于用户行为分析的方法和技术实现都是基本相同的。在此分享一下自己的一些心得。 一. 简介 用户行为分析主要关心的指标可以概括如下：哪个用户在什么时候做了什么操作在哪里做了什么操作，为什么要做这些操作，通过什么方式，用了多长时间等问题，总结出来就是WHO，WHE... 关于用户行为分析，很多互联网公司都有相关的需求，虽然业务不同，但是关于用户行为分析的方法和技术实现都是基本相同的。在此分享一下自己的一些心得。 一. 简介 用户行为分析主要关心的指标可以概括如下：哪个用户在什么时候做了什么操作在哪里做了什么操作，为什么要做这些操作，通过什么方式，用了多长时间等问题，总结出来就是WHO，WHE...
- 前面已经给大家讲了《从0到1搭建大数据平台之数据采集系统》、《从0到1搭建大数据平台之调度系统》，今天给大家讲一下大数据平台计算存储系统。大数据计算平台目前主要都是围绕着hadoop生态发展的，运用HDFS作为数据存储，计算框架分为批处理、流处理。 一、传统的计算平台 我们都知道，没有大数据之前，我们计算平台基本是依赖数据... 前面已经给大家讲了《从0到1搭建大数据平台之数据采集系统》、《从0到1搭建大数据平台之调度系统》，今天给大家讲一下大数据平台计算存储系统。大数据计算平台目前主要都是围绕着hadoop生态发展的，运用HDFS作为数据存储，计算框架分为批处理、流处理。 一、传统的计算平台 我们都知道，没有大数据之前，我们计算平台基本是依赖数据...
- vivo 互联网大数据团队-Lv Jia Hadoop 3.x的第一个稳定版本在2017年底就已经发布了，有很多重大的改进。 在HDFS方面，支持了Erasure Coding、More than 2 NameNodes、Router-Based Federation、Standby NameNo... vivo 互联网大数据团队-Lv Jia Hadoop 3.x的第一个稳定版本在2017年底就已经发布了，有很多重大的改进。 在HDFS方面，支持了Erasure Coding、More than 2 NameNodes、Router-Based Federation、Standby NameNo...
- 今天分享几位资深大佬，他们都是一哥的朋友，数据领域的高级技术专家，也都会定期更新原创技术文章，大家可以根据需要按需关注。 3分钟秒懂大数据 号主曾收获阿里、快手、海康、顺丰科技等多家大厂offer，研究生通过算法 赚取几十万奖金、现为大数据算法工程师。有丰富的面试经验、扎实的大数据、流计算、算法技术功底，每天为粉丝答... 今天分享几位资深大佬，他们都是一哥的朋友，数据领域的高级技术专家，也都会定期更新原创技术文章，大家可以根据需要按需关注。 3分钟秒懂大数据 号主曾收获阿里、快手、海康、顺丰科技等多家大厂offer，研究生通过算法 赚取几十万奖金、现为大数据算法工程师。有丰富的面试经验、扎实的大数据、流计算、算法技术功底，每天为粉丝答...
- 1、本人电脑是Win7 64位系统的： 2、JDK 版本： 3、Cygwin 版本： 官网自行下载 4、Hadoop 版本： 官网自行下载，下载稳定版的吧 下面就开始安装啦~~~~ 一、 安... 1、本人电脑是Win7 64位系统的： 2、JDK 版本： 3、Cygwin 版本： 官网自行下载 4、Hadoop 版本： 官网自行下载，下载稳定版的吧 下面就开始安装啦~~~~ 一、 安...
- 1. HDFS-16420 BUG 概述 HDFS3.X 的 EC 纠删码功能，近期被发现有个 BUG：该 BUG 会导致，以纠删码机制存放的目录和文件，在某些特殊情况下，会被系统误删，从而造成数据丢失。 目前 HADOOP 社区已经通过 HDFS-16420 在版本 3.4.0/3.2.3/ 3.3.2 中修复了该 BUG，... 1. HDFS-16420 BUG 概述 HDFS3.X 的 EC 纠删码功能，近期被发现有个 BUG：该 BUG 会导致，以纠删码机制存放的目录和文件，在某些特殊情况下，会被系统误删，从而造成数据丢失。 目前 HADOOP 社区已经通过 HDFS-16420 在版本 3.4.0/3.2.3/ 3.3.2 中修复了该 BUG，...
- 报错提示: mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid 1 请在yarn-site.xml中添加 <pr... 报错提示: mapreduce.shuffle set in yarn.nodemanager.aux-services is invalid 1 请在yarn-site.xml中添加 <pr...
- 文章目录 一、命令查看二、实操2.1 前提2.2 help查看2.3 创建文件夹 三、上传文件3.1 moveFromLocal3.2 copyFromLocal3.3 put3.4 app... 文章目录 一、命令查看二、实操2.1 前提2.2 help查看2.3 创建文件夹 三、上传文件3.1 moveFromLocal3.2 copyFromLocal3.3 put3.4 app...
- 文章目录 一、集群启动与关闭1.1 DFS1.2 YARN 二、服务组件逐一启动/ 停止2.1 DFS2.2 YARN 一、集群启动与关闭 1.1 DFS 启动： st... 文章目录 一、集群启动与关闭1.1 DFS1.2 YARN 二、服务组件逐一启动/ 停止2.1 DFS2.2 YARN 一、集群启动与关闭 1.1 DFS 启动： st...
- 问题 常见情况： 某些文件不小心删了某些进程打不开了网页访问不了了 等等。。。。各种异常情况。 方案 处理方法： 关闭所有进程删除集群上所有服务器的data和logs格式（初始）化集群：hdf... 问题 常见情况： 某些文件不小心删了某些进程打不开了网页访问不了了 等等。。。。各种异常情况。 方案 处理方法： 关闭所有进程删除集群上所有服务器的data和logs格式（初始）化集群：hdf...
- 文章目录 一、上传文件到集群二、上传的文件存放位置2.1 拼接2.2 执行程序 一、上传文件到集群 hadoop103上传一个服务器的小文件： hadoop fs -mkdir... 文章目录 一、上传文件到集群二、上传的文件存放位置2.1 拼接2.2 执行程序 一、上传文件到集群 hadoop103上传一个服务器的小文件： hadoop fs -mkdir...
- 期望：不用每次登录都输入密码，如果服务器太多，输入真的也很繁琐。 文章目录 原理配置 在hadoop102上可以直接登录hadoop上操作，如下： 原理 配置 由于h... 期望：不用每次登录都输入密码，如果服务器太多，输入真的也很繁琐。 文章目录 原理配置 在hadoop102上可以直接登录hadoop上操作，如下： 原理 配置 由于h...
- 报错： ERROR: ssh: connect to host hadoop103 port 22: No route to host 如下： 解决：其它博客都说是IP变了，我查看了下没... 报错： ERROR: ssh: connect to host hadoop103 port 22: No route to host 如下： 解决：其它博客都说是IP变了，我查看了下没...
- 文章目录 介绍现状优点应用国内国外总结 发行版本 介绍 现状 优点 应用 国内 国外 总结 发行版本 听课记录——黑马程序员 ... 文章目录 介绍现状优点应用国内国外总结 发行版本 介绍 现状 优点 应用 国内 国外 总结 发行版本 听课记录——黑马程序员 ...
上滑加载中
推荐直播
-
昇腾AI算法挑战赛-核心算子如何优化？专家带你深度解析2025/11/17 周一 16:00-17:00
王老师 华为算子专家
昇腾AI算法挑战赛进阶赛战鼓催征！本期直播间，我们特邀华为算子专家王老师，为你深度剖析Matmul、wholereducesum等核心算子的底层原理与优化技巧，直击赛题核心。想提升代码效率、冲击更高排名？锁定直播，带你破局！
回顾中 -
AI编码实干派，“码”力全开2026/02/26 周四 15:00-16:30
谈宗玮/于邦旭/丁俊卿/陈云亮/王一男
【中国，深圳，2026年2月26日】，以“AI编码实干派，码力全开”为主题的华为云码道（CodeArts）代码智能体新春发布会在线上成功召开。华为云码道公测版正式发布，为开发者和企业提供具备工程化能力的智能编码解决方案。
回顾中 -
华为云码道-玩转OpenClaw，开启在线养虾模式2026/03/11 周三 19:00-20:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中
热门标签