- 一、背景Hadoop业务的整体开发流程： 从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步.许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：（1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；（2） 支持近实时... 一、背景Hadoop业务的整体开发流程： 从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步.许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：（1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；（2） 支持近实时...
- 目录 1 数据源(学生成绩.csv)2 hadoop平台上传数据源3 idea代码3.1 工程框架3.2 导入依赖3.3 系统主入口(menu)3.4 六个mapreduce3.4.1 计算每门成绩的最高分、最低分、平均分(Mma)3.4.2 计算每个学生的总分及平均成绩并进行排序(Sas)3.4.3 统计所有学生的信息(Si)3.4.4 统计每门课程中相同分数分布情况(Css)3.4.5... 目录 1 数据源(学生成绩.csv)2 hadoop平台上传数据源3 idea代码3.1 工程框架3.2 导入依赖3.3 系统主入口(menu)3.4 六个mapreduce3.4.1 计算每门成绩的最高分、最低分、平均分(Mma)3.4.2 计算每个学生的总分及平均成绩并进行排序(Sas)3.4.3 统计所有学生的信息(Si)3.4.4 统计每门课程中相同分数分布情况(Css)3.4.5...
- HDFS集群搭建-HA模式概念，伪分布式到完全分布式，HDFS- Federation解决方案等知识点的讲解。HDFS集群搭建-HA模式概念前言博主语录：一文精讲一个知识点，多了你记不住，一句废话都没有经典语录：你要灭一个人，一是骂杀，一是捧杀一、伪分布式到完全分布式回顾：伪分布式： 在一个节点启动所有的角色： NN,DN,SNN基础环境 部署配置1）角色在哪里启动NN： core-... HDFS集群搭建-HA模式概念，伪分布式到完全分布式，HDFS- Federation解决方案等知识点的讲解。HDFS集群搭建-HA模式概念前言博主语录：一文精讲一个知识点，多了你记不住，一句废话都没有经典语录：你要灭一个人，一是骂杀，一是捧杀一、伪分布式到完全分布式回顾：伪分布式： 在一个节点启动所有的角色： NN,DN,SNN基础环境 部署配置1）角色在哪里启动NN： core-...
- HDFS集群搭建-伪分布式模式前言博主语录：一文精讲一个知识点，多了你记不住，一句废话都没有经典语录：美好的事情不是没有裂痕，而是满是裂痕而没有崩开一、实操&理论验证HDFS安装配置HDFS命令行使用理论知识点验证二、官网导读Hadoop - Apache Hadoop 2.6.5https://hadoop.apache.org/docs/r2.6.5/支持最好的平台：GNU/Linux依... HDFS集群搭建-伪分布式模式前言博主语录：一文精讲一个知识点，多了你记不住，一句废话都没有经典语录：美好的事情不是没有裂痕，而是满是裂痕而没有崩开一、实操&理论验证HDFS安装配置HDFS命令行使用理论知识点验证二、官网导读Hadoop - Apache Hadoop 2.6.5https://hadoop.apache.org/docs/r2.6.5/支持最好的平台：GNU/Linux依...
- 本文主要介绍的内容有：华为大数据解决方案功能组件介绍、华为大数据应用分享。 本文主要介绍的内容有：华为大数据解决方案功能组件介绍、华为大数据应用分享。
- 1 概述源于Google的MapReduce论文，发表于2004年12月。Hadoop MapReduce是Google MapReduce的克隆版。Hadoop问世前，已有分布式计算，但都是专用系统，仅处理某一类计算，比如进行大规模数据排序。这样的系统无法复用到其他大数据计算场景，每种应用都需要开发与维护专门系统。而Hadoop MapReduce造就了大数据计算通用编程。只要遵循Map... 1 概述源于Google的MapReduce论文，发表于2004年12月。Hadoop MapReduce是Google MapReduce的克隆版。Hadoop问世前，已有分布式计算，但都是专用系统，仅处理某一类计算，比如进行大规模数据排序。这样的系统无法复用到其他大数据计算场景，每种应用都需要开发与维护专门系统。而Hadoop MapReduce造就了大数据计算通用编程。只要遵循Map...
- 1 概述 1.1 简介Hadoop实现的一个分布式文件系统（Hadoop Distributed File System），简称HDFS源自于Google的GFS论文，发表于2003年，HDFS是GFS的克隆版大数据中最宝贵、最难以代替的就是数据，一切都围绕数据。HDFS是最早的大数据存储系统，存储着宝贵的数据资产，各种新算法、框架要想得到广泛使用，必须支持HDFS，才能获取已存储在里面的... 1 概述 1.1 简介Hadoop实现的一个分布式文件系统（Hadoop Distributed File System），简称HDFS源自于Google的GFS论文，发表于2003年，HDFS是GFS的克隆版大数据中最宝贵、最难以代替的就是数据，一切都围绕数据。HDFS是最早的大数据存储系统，存储着宝贵的数据资产，各种新算法、框架要想得到广泛使用，必须支持HDFS，才能获取已存储在里面的...
- 目前博客Hadoop文章大都停留在Hadoop2.x阶段，本系列将对2.x没有的新特性进行补充更新，一键三连加关注，下次不迷路！ 目前博客Hadoop文章大都停留在Hadoop2.x阶段，本系列将对2.x没有的新特性进行补充更新，一键三连加关注，下次不迷路！
- 目前博客Hadoop文章大都停留在Hadoop2.x阶段，本系列将对2.x没有的新特性进行补充更新，一键三连加关注，下次不迷路！ 目前博客Hadoop文章大都停留在Hadoop2.x阶段，本系列将对2.x没有的新特性进行补充更新，一键三连加关注，下次不迷路！
- 目前博客Hadoop文章大都停留在Hadoop2.x阶段，本系列将对2.x没有的新特性进行补充更新，一键三连加关注，下次不迷路！ 目前博客Hadoop文章大都停留在Hadoop2.x阶段，本系列将对2.x没有的新特性进行补充更新，一键三连加关注，下次不迷路！
- 大家好，我是程序员学长。距离上次更文已经相隔一个多月了，大家不会把我给忘了吧，哈哈~~由于最近一直在忙家里装修的事情，所以就一直没精力去更新文章，好在基本已经搞得差不多了，也可以回归了，等彻底搞定了，给大家分享出来。金三银四马上就要到了，去年更新的高频算法系列基本已经更新完事了，一共有100多道面试高频题，每道题都有详细的解析。如果需要这份pdf，大家可以关注公众号，回复666，可得。资料获... 大家好，我是程序员学长。距离上次更文已经相隔一个多月了，大家不会把我给忘了吧，哈哈~~由于最近一直在忙家里装修的事情，所以就一直没精力去更新文章，好在基本已经搞得差不多了，也可以回归了，等彻底搞定了，给大家分享出来。金三银四马上就要到了，去年更新的高频算法系列基本已经更新完事了，一共有100多道面试高频题，每道题都有详细的解析。如果需要这份pdf，大家可以关注公众号，回复666，可得。资料获...
- HBCK2是apache hbase集群修复工具。 HBCK2 与hbck1比较HBCK2 是 hbck 的继承者，hbase-1.x (A.K.A hbck1) 附带的修复工具。 使用 HBCK2 代替 hbck1 对 hbase-2.x 集群进行修复。 hbck1 不应针对 hbase-2.x 安装运行。 它可能会造成伤害。 虽然 hbck1 仍然捆绑在 hbase-2.x 中——为了尽... HBCK2是apache hbase集群修复工具。 HBCK2 与hbck1比较HBCK2 是 hbck 的继承者，hbase-1.x (A.K.A hbck1) 附带的修复工具。 使用 HBCK2 代替 hbck1 对 hbase-2.x 集群进行修复。 hbck1 不应针对 hbase-2.x 安装运行。 它可能会造成伤害。 虽然 hbck1 仍然捆绑在 hbase-2.x 中——为了尽...
- 一文了解 HDFS 元数据管理 一文了解 HDFS 元数据管理
- 大数据（big data），是近几年很火的一共概念。**什么是大数据？**就举一个生活中很常见的一个例子，平常我们使用APP在各大商城进行商品浏览购物的时候，你会发现，当你在一类商品停留的时间较长时，回到首页，轮播图推荐跟猜你喜欢那一栏就有很大的可能给你推荐你刚刚浏览过去商品的同类。这里面就涉及到了大数据的一个概念，APP通过你的浏览记录，分析用户行为，再根据大数据的推荐系统，就完成了从点击... 大数据（big data），是近几年很火的一共概念。**什么是大数据？**就举一个生活中很常见的一个例子，平常我们使用APP在各大商城进行商品浏览购物的时候，你会发现，当你在一类商品停留的时间较长时，回到首页，轮播图推荐跟猜你喜欢那一栏就有很大的可能给你推荐你刚刚浏览过去商品的同类。这里面就涉及到了大数据的一个概念，APP通过你的浏览记录，分析用户行为，再根据大数据的推荐系统，就完成了从点击...
- 介绍了Loader的主要功能及其主要特性，然后介绍了Loader的作业管理和监控。大数据平台与外部数据源的交互，通过MapReduce并行处理，完成数据的导入与导出功能。 介绍了Loader的主要功能及其主要特性，然后介绍了Loader的作业管理和监控。大数据平台与外部数据源的交互，通过MapReduce并行处理，完成数据的导入与导出功能。
上滑加载中
推荐直播
-
2024创原会年度技术峰会2024/12/20 周五 09:00-12:00
华为云讲师团
2024创原会年度技术峰会将于12月20日在海南万宁石梅湾威斯汀酒店举办，本次大会将以“智能・进化”为主题探讨从Cloud Native到AI Native的新阶段企业如何通过AI技术重塑企业应用，围绕AI如何在千行万业落地进行深入交流，探索可以先行先试先成功的创新场景和实现路径。
回顾中 -
华为云开发者日·2024年度创享峰会2024/12/23 周一 14:00-16:00
华为云讲师团
华为云开发者日HDC.Cloud Day是面向全球开发者的旗舰活动，汇聚来自千行百业、高校及科研院所的开发人员。致力于打造开发者专属的技术盛宴，全方位服务与赋能开发者围绕华为云生态“知、学、用、创、商”的成长路径。通过前沿的技术分享、场景化的动手体验、优秀的应用创新推介，为开发者提供沉浸式学习与交流平台。开放创新，与开发者共创、共享、共赢未来。
去报名 -
GaussDB管理平台TPOPS，DBA高效运维的一站式解决方案2024/12/24 周二 16:30-18:00
Leo 华为云数据库DTSE技术布道师
数据库的复杂运维，是否让你感到头疼不已？今天，华为云GaussDB管理平台将彻底来改观！本期直播，我们将深入探索GaussDB管理平台的TPOPS功能，带你感受一键式部署安装的便捷，和智能化运维管理的高效，让复杂的运维、管理变得简单，让简单变得可靠。
去报名
热门标签