- 华为云之使用ECS弹性云服务器部署Hadoop环境【玩转华为云】 华为云之使用ECS弹性云服务器部署Hadoop环境【玩转华为云】
- Flink History Server配置使用基于Standalone或者Yarn模式提交Flink任务后，当任务执行失败、取消或者完成后，可以在WebUI中查看对应任务的统计信息，这些统计信息在生产环境中对我们来说非常重要，可以知道一个任务异常挂掉前发生了什么，便于定位问题。当基于Standalone session模式提交相应任务时，集群重启后我们没有办法查看集群之前运行任务的情况，... Flink History Server配置使用基于Standalone或者Yarn模式提交Flink任务后，当任务执行失败、取消或者完成后，可以在WebUI中查看对应任务的统计信息，这些统计信息在生产环境中对我们来说非常重要，可以知道一个任务异常挂掉前发生了什么，便于定位问题。当基于Standalone session模式提交相应任务时，集群重启后我们没有办法查看集群之前运行任务的情况，...
- Yarn核心高频面试题一、简述Hadoop1与Hadoop2的架构异同加入了yarn解决了资源调度的问题。加入了对zookeeper的支持实现比较可靠的高可用。二、为什么会产生yarn，它解决了什么问题，有什么优势？Yarn最主要的功能就是解决运行的用户程序与yarn框架完全解耦。Yarn上可以运行各种类型的分布式运算程序（mapreduce只是其中的一种），比如mapreduce、stor... Yarn核心高频面试题一、简述Hadoop1与Hadoop2的架构异同加入了yarn解决了资源调度的问题。加入了对zookeeper的支持实现比较可靠的高可用。二、为什么会产生yarn，它解决了什么问题，有什么优势？Yarn最主要的功能就是解决运行的用户程序与yarn框架完全解耦。Yarn上可以运行各种类型的分布式运算程序（mapreduce只是其中的一种），比如mapreduce、stor...
- HDFS核心高频面试题一、HDFS的存储机制（读写流程）HDFS存储机制，包括HDFS的写入过程和读取过程两个部分1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。2）namenode返回是否可以上传。3）客户端请求第一个 block上传到哪几个datanode服务器上。4）namenode返回3个datanode节点，分别为dn1、dn2、d... HDFS核心高频面试题一、HDFS的存储机制（读写流程）HDFS存储机制，包括HDFS的写入过程和读取过程两个部分1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。2）namenode返回是否可以上传。3）客户端请求第一个 block上传到哪几个datanode服务器上。4）namenode返回3个datanode节点，分别为dn1、dn2、d...
- HDFS核心高频面试题一、HDFS的存储机制（读写流程）HDFS存储机制，包括HDFS的写入过程和读取过程两个部分1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。2）namenode返回是否可以上传。3）客户端请求第一个 block上传到哪几个datanode服务器上。4）namenode返回3个datanode节点，分别为dn1、dn2... HDFS核心高频面试题一、HDFS的存储机制（读写流程）HDFS存储机制，包括HDFS的写入过程和读取过程两个部分1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。2）namenode返回是否可以上传。3）客户端请求第一个 block上传到哪几个datanode服务器上。4）namenode返回3个datanode节点，分别为dn1、dn2...
- 本文是《CDH+Kylin三部曲》系列的终篇，一起来实践kylin官方的demo 本文是《CDH+Kylin三部曲》系列的终篇，一起来实践kylin官方的demo
- 上一篇文章完成了所有准备工作，现在可以来部署和启动Kylin了 上一篇文章完成了所有准备工作，现在可以来部署和启动Kylin了
- 启动CDH5之后，部分组件未能启动成功，将所有修复过程汇总再次，期待能给您一些参考 启动CDH5之后，部分组件未能启动成功，将所有修复过程汇总再次，期待能给您一些参考
- 本文是《CDH5部署三部曲》的第二篇，前文将集群所有机器做了必要的设置，今天一起来完成CDH的部署、启动、设置等操作 本文是《CDH5部署三部曲》的第二篇，前文将集群所有机器做了必要的设置，今天一起来完成CDH的部署、启动、设置等操作
- 本篇文章主要讲解DataFactory的维度建模概念，业务驱动模型开发流程以及两种开发模式的对比。 通过本文了解DataFactory双轮驱动指哪两种开发模式？它们的具体流程是什么？分别适合什么场景？如何选择适合自己的模式？助力大家数据开发之旅~ 本篇文章主要讲解DataFactory的维度建模概念，业务驱动模型开发流程以及两种开发模式的对比。 通过本文了解DataFactory双轮驱动指哪两种开发模式？它们的具体流程是什么？分别适合什么场景？如何选择适合自己的模式？助力大家数据开发之旅~
- hadoop概要与总结 hadoop概要与总结
- 随着大数据时代的来临，数据量不断增长，传统小机上跑数据库的模式扩容困难且成本高昂，难以支撑业务发展。很多用户开始转向分布式计算路线，用多台廉价的PC服务器组成集群来完成大数据计算任务。Hadoop/Spark就是其中重要的软件技术，由于开源免费而广受欢迎。经过多年的应用和发展，Hadoop已经被广泛接受，不仅直接应用于数据计算，还发展出很多基于它的新数据库，比如Hive、Impala等。 H... 随着大数据时代的来临，数据量不断增长，传统小机上跑数据库的模式扩容困难且成本高昂，难以支撑业务发展。很多用户开始转向分布式计算路线，用多台廉价的PC服务器组成集群来完成大数据计算任务。Hadoop/Spark就是其中重要的软件技术，由于开源免费而广受欢迎。经过多年的应用和发展，Hadoop已经被广泛接受，不仅直接应用于数据计算，还发展出很多基于它的新数据库，比如Hive、Impala等。 H...
- Apache Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限 。 Apache Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限 。
- 一、背景Hadoop业务的整体开发流程： 从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步.许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：（1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；（2） 支持近实时... 一、背景Hadoop业务的整体开发流程： 从Hadoop的业务开发流程图中可以看出，在大数据的业务处理过程中，对于数据的采集是十分重要的一步，也是不可避免的一步.许多公司的平台每天会产生大量的日志（一般为流式数据，如，搜索引擎的pv，查询等），处理这些日志需要特定的日志系统，一般而言，这些系统需要具有以下特征：（1） 构建应用系统和分析系统的桥梁，并将它们之间的关联解耦；（2） 支持近实时...
- 目录 1 数据源(学生成绩.csv)2 hadoop平台上传数据源3 idea代码3.1 工程框架3.2 导入依赖3.3 系统主入口(menu)3.4 六个mapreduce3.4.1 计算每门成绩的最高分、最低分、平均分(Mma)3.4.2 计算每个学生的总分及平均成绩并进行排序(Sas)3.4.3 统计所有学生的信息(Si)3.4.4 统计每门课程中相同分数分布情况(Css)3.4.5... 目录 1 数据源(学生成绩.csv)2 hadoop平台上传数据源3 idea代码3.1 工程框架3.2 导入依赖3.3 系统主入口(menu)3.4 六个mapreduce3.4.1 计算每门成绩的最高分、最低分、平均分(Mma)3.4.2 计算每个学生的总分及平均成绩并进行排序(Sas)3.4.3 统计所有学生的信息(Si)3.4.4 统计每门课程中相同分数分布情况(Css)3.4.5...
上滑加载中
推荐直播
-
物联网资深专家带你轻松构建AIoT智能场景应用2024/11/21 周四 16:30-18:00
管老师 华为云IoT DTSE技术布道师
如何轻松构建AIoT智能场景应用？本期直播将聚焦华为云设备接入平台，结合AI、鸿蒙（OpenHarmony）、大数据等技术，实现物联网端云协同创新场景，教您如何打造更有实用性及创新性的AIoT行业标杆应用。
回顾中 -
Ascend C算子编程之旅：基础入门篇2024/11/22 周五 16:00-17:30
莫老师 昇腾CANN专家
介绍Ascend C算子基本概念、异构计算架构CANN和Ascend C基本概述，以及Ascend C快速入门，夯实Ascend C算子编程基础
即将直播 -
深入解析：华为全栈AI解决方案与云智能开放能力2024/11/22 周五 18:20-20:20
Alex 华为云学堂技术讲师
本期直播我们将重点为大家介绍华为全栈全场景AI解决方案以和华为云企业智能AI开放能力。旨在帮助开发者深入理解华为AI解决方案，并能够更加熟练地运用这些技术。通过洞悉华为解决方案，了解人工智能完整生态链条的构造。
去报名
热门标签