- GaussDB对接HDFS Login failed on cn_XXXX, check your principal and keytab问题，HD集群hive可以正常查询外表，gaussDB不可以正常查询表问题。 GaussDB对接HDFS Login failed on cn_XXXX, check your principal and keytab问题，HD集群hive可以正常查询外表，gaussDB不可以正常查询表问题。
- 福哥答案2020-09-02：[答案来自此链接](https://www.kaops.com/ivquest/104670)下图显示了Sqoop的工作流程：Sqoop导入导入工具将单个表从RDBMS导入到HDFS。 表中的每一行都被视为HDFS中的一条记录。 所有记录都作为文本数据存储在文本文件中，或者作为二进制数据存储在Avro和Sequence文件中。Sqoop导出导出工具将一组文件从H... 福哥答案2020-09-02：[答案来自此链接](https://www.kaops.com/ivquest/104670)下图显示了Sqoop的工作流程：Sqoop导入导入工具将单个表从RDBMS导入到HDFS。 表中的每一行都被视为HDFS中的一条记录。 所有记录都作为文本数据存储在文本文件中，或者作为二进制数据存储在Avro和Sequence文件中。Sqoop导出导出工具将一组文件从H...
- 概览：The Hadoop File System简称HDFS，是设计用于进行分布式的高可靠性的并且有着大带宽IO需求的文件存储系统。成千上万台的计算机可以加入到HDFS系统，并且存储成本不会因为扩容而降低他的性价比。 1.简介Hadoop为MapReduce算法提供了一个大数据分布式存储框架。Hadoop框架一个非常重要的性质是把数据进行了切分并存储到了很多的服务器上，并且会在这些机器上进... 概览：The Hadoop File System简称HDFS，是设计用于进行分布式的高可靠性的并且有着大带宽IO需求的文件存储系统。成千上万台的计算机可以加入到HDFS系统，并且存储成本不会因为扩容而降低他的性价比。 1.简介Hadoop为MapReduce算法提供了一个大数据分布式存储框架。Hadoop框架一个非常重要的性质是把数据进行了切分并存储到了很多的服务器上，并且会在这些机器上进...
- Hive是建立在Hadoop上的数据仓库框架，提供类似SQL的HiveQL语言操作结构化数 据，其基本原理是将HiveQL语言自动转换成MapReduce或HDFS任务，从而完成对 Hadoop集群中存储的海量数据进行查询和分析。Console控制台提供了Hive Script输 入入口，支持在线提交HiveQL语句。支持 HDFS Colocation HDFS Coloca... Hive是建立在Hadoop上的数据仓库框架，提供类似SQL的HiveQL语言操作结构化数 据，其基本原理是将HiveQL语言自动转换成MapReduce或HDFS任务，从而完成对 Hadoop集群中存储的海量数据进行查询和分析。Console控制台提供了Hive Script输 入入口，支持在线提交HiveQL语句。支持 HDFS Colocation HDFS Coloca...
- Kudu是专为Apache Hadoop平台开发的列式存储管理器，具有Hadoop生态系统应用 程序的共同技术特性：在通用的商用硬件上运行，可水平扩展，提供高可用性。 Kudu的设计具有以下优点： ● 能够快速处理OLAP工作负载 ● 支持与MapReduce，Spark和其他Hadoop生态系统组件集成 ● 与Apache Impala的紧密集成，使其成为将HDFS与Apache Parq... Kudu是专为Apache Hadoop平台开发的列式存储管理器，具有Hadoop生态系统应用 程序的共同技术特性：在通用的商用硬件上运行，可水平扩展，提供高可用性。 Kudu的设计具有以下优点： ● 能够快速处理OLAP工作负载 ● 支持与MapReduce，Spark和其他Hadoop生态系统组件集成 ● 与Apache Impala的紧密集成，使其成为将HDFS与Apache Parq...
- 基本原理 简介 Flume是一个分布式、可靠和高可用的海量日志聚合系统，支持在系统中定制各类数 据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写入各种数据 接受方（可定制）的能力。Flume有如下几个特点： ● 收集、聚合事件流数据的分布式框架 ● 通常用于log数据 ... 基本原理 简介 Flume是一个分布式、可靠和高可用的海量日志聚合系统，支持在系统中定制各类数 据发送方，用于收集数据；同时，Flume提供对数据进行简单处理，并写入各种数据 接受方（可定制）的能力。Flume有如下几个特点： ● 收集、聚合事件流数据的分布式框架 ● 通常用于log数据 ...
- 福哥答案2020-08-24：[知乎答案](https://www.zhihu.com/question/417040766)1.小文件：小文件是指文件大小明显小于 HDFS 上块（block）大小（默认64MB，在Hadoop2.x中默认为128MB）的文件。2.小文件问题：HDFS的小文件问题：（１）HDFS 中任何一个文件，目录或者数据块在 NameNode 节点内存中均以一个对象形式... 福哥答案2020-08-24：[知乎答案](https://www.zhihu.com/question/417040766)1.小文件：小文件是指文件大小明显小于 HDFS 上块（block）大小（默认64MB，在Hadoop2.x中默认为128MB）的文件。2.小文件问题：HDFS的小文件问题：（１）HDFS 中任何一个文件，目录或者数据块在 NameNode 节点内存中均以一个对象形式...
- 1，建立目录，解压软件清单mkdir -p /hadoop/{soft,nn,dn,tmp,zookeeper,jn}tar xvf hadoop-2.8.3.tar.gz -C /hadoop/softtar xvf zookeeper-3.4.12.tar.gz -C /hadoop/softtar -zxvf jdk-8u161-linux-x64.gz -C /hadoop/soft... 1，建立目录，解压软件清单mkdir -p /hadoop/{soft,nn,dn,tmp,zookeeper,jn}tar xvf hadoop-2.8.3.tar.gz -C /hadoop/softtar xvf zookeeper-3.4.12.tar.gz -C /hadoop/softtar -zxvf jdk-8u161-linux-x64.gz -C /hadoop/soft...
- 福哥答案2020-08-13：该项目包括以下模块：1.Common(公共工具)支持其他Hadoop模块的公共工具。2.HDFS（Hadoop分布式文件系统）提供对应用程序数据的高吞吐量访问的分布式文件系统。3.Mapreduce（分布式计算框架，地图还原）一个基于纱线的大数据集并行处理系统。4.Yarn(分布式资源管理器，纱线）一个用于作业调度和集群资源管理的框架。Apache的其他与Had... 福哥答案2020-08-13：该项目包括以下模块：1.Common(公共工具)支持其他Hadoop模块的公共工具。2.HDFS（Hadoop分布式文件系统）提供对应用程序数据的高吞吐量访问的分布式文件系统。3.Mapreduce（分布式计算框架，地图还原）一个基于纱线的大数据集并行处理系统。4.Yarn(分布式资源管理器，纱线）一个用于作业调度和集群资源管理的框架。Apache的其他与Had...
- 背景：HDFS： HDFS通过ACL控制文件访问权限，不能够提供更加复杂的权限规则。 ACL的控制没有可视化的界面操作，不便于用户权限管理，没有统一的权限管理框架。 Ranger的UI界面操作简单。Yarn： Yarn原来是通过Manager的租户管理界面新建Yarn的队列，然后可以通过将队列绑定给特定的用户来实现权限控制。另外Ranger对所有的访问提供了审计的能力... 背景：HDFS： HDFS通过ACL控制文件访问权限，不能够提供更加复杂的权限规则。 ACL的控制没有可视化的界面操作，不便于用户权限管理，没有统一的权限管理框架。 Ranger的UI界面操作简单。Yarn： Yarn原来是通过Manager的租户管理界面新建Yarn的队列，然后可以通过将队列绑定给特定的用户来实现权限控制。另外Ranger对所有的访问提供了审计的能力...
- Oozie（驭象者）是Yahoo开发的工作流引擎，主要用于管理Hadoop任务（支持MapReduce、Spark、Pig、Hive），把这些任务以DAG（有向无环图）方式串接起来。 Oozie（驭象者）是Yahoo开发的工作流引擎，主要用于管理Hadoop任务（支持MapReduce、Spark、Pig、Hive），把这些任务以DAG（有向无环图）方式串接起来。
- hive性能优化 hive性能优化
- 一. 简介：Apache Atlas是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目，它为Hadoop集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力。二. 前置条件：1.节点上已经安装jdk1.82.由于利用先用hbase进行搭建所以集群已经部署安装hbase服务3.OS版本为 CentOS Linux release ... 一. 简介：Apache Atlas是Hadoop社区为解决Hadoop生态系统的元数据治理问题而产生的开源项目，它为Hadoop集群提供了包括数据分类、集中策略引擎、数据血缘、安全和生命周期管理在内的元数据治理核心能力。二. 前置条件：1.节点上已经安装jdk1.82.由于利用先用hbase进行搭建所以集群已经部署安装hbase服务3.OS版本为 CentOS Linux release ...
- 基于Docker搭建Hadoop集群将Hadoop打包到Docker镜像中，就可以快速的在单个机器上搭建Hadoop集群，这样可以方便新手测试和学习。Hadoop的master和slave分别运行在不同的Docker容器中，其中NameNode、ResourceManager运行在hadoop-master容器中，DataNode、NodeManager运行在hadoop-slave容器中。... 基于Docker搭建Hadoop集群将Hadoop打包到Docker镜像中，就可以快速的在单个机器上搭建Hadoop集群，这样可以方便新手测试和学习。Hadoop的master和slave分别运行在不同的Docker容器中，其中NameNode、ResourceManager运行在hadoop-master容器中，DataNode、NodeManager运行在hadoop-slave容器中。...
- 大数据：数据从GB (2的30次方byte) 急速增长到ZB (2的70次方byte)，需要通过分部署存储和分布式计算解决数据处理问题。 大数据：数据从GB (2的30次方byte) 急速增长到ZB (2的70次方byte)，需要通过分部署存储和分布式计算解决数据处理问题。
上滑加载中
推荐直播
-
探秘仓颉编程语言：华为开发者空间的创新利器2025/02/22 周六 15:00-16:30
华为云讲师团
本期直播将与您一起探秘颉编程语言上线华为开发者空间后，显著提升开发效率，在智能化开发支持、全场景跨平台适配能力、工具链与生态完备性、语言简洁与高性能特性等方面展现出的独特优势。直播看点： 1.java转仓颉的小工具 2.仓颉动画三方库lottie 3.开发者空间介绍及如何在空间用仓颉编程语言开发
回顾中 -
大模型Prompt工程深度实践2025/02/24 周一 16:00-17:30
盖伦 华为云学堂技术讲师
如何让大模型精准理解开发需求并生成可靠输出？本期直播聚焦大模型Prompt工程核心技术：理解大模型推理基础原理，关键采样参数定义，提示词撰写关键策略及Prompt工程技巧分享。
去报名 -
华为云 x DeepSeek：AI驱动云上应用创新2025/02/26 周三 16:00-18:00
华为云 AI专家大咖团
在 AI 技术飞速发展之际，DeepSeek 备受关注。它凭借哪些技术与理念脱颖而出？华为云与 DeepSeek 合作，将如何重塑产品与应用模式，助力企业数字化转型？在华为开发者空间，怎样高效部署 DeepSeek，搭建专属服务器？基于华为云平台，又该如何挖掘 DeepSeek 潜力，实现智能化升级？本期直播围绕DeepSeek在云上的应用案例，与DTSE布道师们一起探讨如何利用AI 驱动云上应用创新。
去报名
热门标签