- GaussDB DWS的SQL ON ANYWHERE技术解密 GaussDB DWS的SQL ON ANYWHERE技术解密 1. 前言 2. 什么是SQL On Anywhere 3. GaussDB(DWS)SQL On Anywhere的作用及其应用场景 4. GaussDB(DWS)SQL On Anywhere的实现方式 3.1 利用FDW访问HDFS/OBS数据 3.2 通... GaussDB DWS的SQL ON ANYWHERE技术解密 GaussDB DWS的SQL ON ANYWHERE技术解密 1. 前言 2. 什么是SQL On Anywhere 3. GaussDB(DWS)SQL On Anywhere的作用及其应用场景 4. GaussDB(DWS)SQL On Anywhere的实现方式 3.1 利用FDW访问HDFS/OBS数据 3.2 通...
- 本项目使用了华为云服务提供的基于鲲鹏计算架构的远程ECS主机和OBS对象存储服务，完成了Hadoop集群搭建、HDFS环境配置和系统功能验证等实验任务，并通过多个ECS主机作为Hadoop集群节点，了解Hadoop的工作原理和环境构建过程。实验结束后，成功在4个ECS服务器节点上部署运行了HDFS，且可以通过SSH协议正常访问。 本项目使用了华为云服务提供的基于鲲鹏计算架构的远程ECS主机和OBS对象存储服务，完成了Hadoop集群搭建、HDFS环境配置和系统功能验证等实验任务，并通过多个ECS主机作为Hadoop集群节点，了解Hadoop的工作原理和环境构建过程。实验结束后，成功在4个ECS服务器节点上部署运行了HDFS，且可以通过SSH协议正常访问。
- 华为云之使用ECS弹性云服务器部署Hadoop环境【玩转华为云】 华为云之使用ECS弹性云服务器部署Hadoop环境【玩转华为云】
- Flink History Server配置使用基于Standalone或者Yarn模式提交Flink任务后，当任务执行失败、取消或者完成后，可以在WebUI中查看对应任务的统计信息，这些统计信息在生产环境中对我们来说非常重要，可以知道一个任务异常挂掉前发生了什么，便于定位问题。当基于Standalone session模式提交相应任务时，集群重启后我们没有办法查看集群之前运行任务的情况，... Flink History Server配置使用基于Standalone或者Yarn模式提交Flink任务后，当任务执行失败、取消或者完成后，可以在WebUI中查看对应任务的统计信息，这些统计信息在生产环境中对我们来说非常重要，可以知道一个任务异常挂掉前发生了什么，便于定位问题。当基于Standalone session模式提交相应任务时，集群重启后我们没有办法查看集群之前运行任务的情况，...
- Yarn核心高频面试题一、简述Hadoop1与Hadoop2的架构异同加入了yarn解决了资源调度的问题。加入了对zookeeper的支持实现比较可靠的高可用。二、为什么会产生yarn，它解决了什么问题，有什么优势？Yarn最主要的功能就是解决运行的用户程序与yarn框架完全解耦。Yarn上可以运行各种类型的分布式运算程序（mapreduce只是其中的一种），比如mapreduce、stor... Yarn核心高频面试题一、简述Hadoop1与Hadoop2的架构异同加入了yarn解决了资源调度的问题。加入了对zookeeper的支持实现比较可靠的高可用。二、为什么会产生yarn，它解决了什么问题，有什么优势？Yarn最主要的功能就是解决运行的用户程序与yarn框架完全解耦。Yarn上可以运行各种类型的分布式运算程序（mapreduce只是其中的一种），比如mapreduce、stor...
- HDFS核心高频面试题一、HDFS的存储机制（读写流程）HDFS存储机制，包括HDFS的写入过程和读取过程两个部分1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。2）namenode返回是否可以上传。3）客户端请求第一个 block上传到哪几个datanode服务器上。4）namenode返回3个datanode节点，分别为dn1、dn2、d... HDFS核心高频面试题一、HDFS的存储机制（读写流程）HDFS存储机制，包括HDFS的写入过程和读取过程两个部分1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。2）namenode返回是否可以上传。3）客户端请求第一个 block上传到哪几个datanode服务器上。4）namenode返回3个datanode节点，分别为dn1、dn2、d...
- HDFS核心高频面试题一、HDFS的存储机制（读写流程）HDFS存储机制，包括HDFS的写入过程和读取过程两个部分1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。2）namenode返回是否可以上传。3）客户端请求第一个 block上传到哪几个datanode服务器上。4）namenode返回3个datanode节点，分别为dn1、dn2... HDFS核心高频面试题一、HDFS的存储机制（读写流程）HDFS存储机制，包括HDFS的写入过程和读取过程两个部分1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。2）namenode返回是否可以上传。3）客户端请求第一个 block上传到哪几个datanode服务器上。4）namenode返回3个datanode节点，分别为dn1、dn2...
- 本文是《CDH+Kylin三部曲》系列的终篇，一起来实践kylin官方的demo 本文是《CDH+Kylin三部曲》系列的终篇，一起来实践kylin官方的demo
- 上一篇文章完成了所有准备工作，现在可以来部署和启动Kylin了 上一篇文章完成了所有准备工作，现在可以来部署和启动Kylin了
- 启动CDH5之后，部分组件未能启动成功，将所有修复过程汇总再次，期待能给您一些参考 启动CDH5之后，部分组件未能启动成功，将所有修复过程汇总再次，期待能给您一些参考
- 本文是《CDH5部署三部曲》的第二篇，前文将集群所有机器做了必要的设置，今天一起来完成CDH的部署、启动、设置等操作 本文是《CDH5部署三部曲》的第二篇，前文将集群所有机器做了必要的设置，今天一起来完成CDH的部署、启动、设置等操作
- 本篇文章主要讲解DataFactory的维度建模概念，业务驱动模型开发流程以及两种开发模式的对比。 通过本文了解DataFactory双轮驱动指哪两种开发模式？它们的具体流程是什么？分别适合什么场景？如何选择适合自己的模式？助力大家数据开发之旅~ 本篇文章主要讲解DataFactory的维度建模概念，业务驱动模型开发流程以及两种开发模式的对比。 通过本文了解DataFactory双轮驱动指哪两种开发模式？它们的具体流程是什么？分别适合什么场景？如何选择适合自己的模式？助力大家数据开发之旅~
- hadoop概要与总结 hadoop概要与总结
- 随着大数据时代的来临，数据量不断增长，传统小机上跑数据库的模式扩容困难且成本高昂，难以支撑业务发展。很多用户开始转向分布式计算路线，用多台廉价的PC服务器组成集群来完成大数据计算任务。Hadoop/Spark就是其中重要的软件技术，由于开源免费而广受欢迎。经过多年的应用和发展，Hadoop已经被广泛接受，不仅直接应用于数据计算，还发展出很多基于它的新数据库，比如Hive、Impala等。 H... 随着大数据时代的来临，数据量不断增长，传统小机上跑数据库的模式扩容困难且成本高昂，难以支撑业务发展。很多用户开始转向分布式计算路线，用多台廉价的PC服务器组成集群来完成大数据计算任务。Hadoop/Spark就是其中重要的软件技术，由于开源免费而广受欢迎。经过多年的应用和发展，Hadoop已经被广泛接受，不仅直接应用于数据计算，还发展出很多基于它的新数据库，比如Hive、Impala等。 H...
- Apache Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限 。 Apache Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限 。
上滑加载中
推荐直播
-
探秘仓颉编程语言：华为开发者空间的创新利器2025/02/22 周六 15:00-16:30
华为云讲师团
本期直播将与您一起探秘颉编程语言上线华为开发者空间后，显著提升开发效率，在智能化开发支持、全场景跨平台适配能力、工具链与生态完备性、语言简洁与高性能特性等方面展现出的独特优势。直播看点： 1.java转仓颉的小工具 2.仓颉动画三方库lottie 3.开发者空间介绍及如何在空间用仓颉编程语言开发
即将直播 -
大模型Prompt工程深度实践2025/02/24 周一 16:00-17:30
盖伦 华为云学堂技术讲师
如何让大模型精准理解开发需求并生成可靠输出？本期直播聚焦大模型Prompt工程核心技术：理解大模型推理基础原理，关键采样参数定义，提示词撰写关键策略及Prompt工程技巧分享。
去报名 -
华为云 x DeepSeek：AI驱动云上应用创新2025/02/26 周三 16:00-18:00
华为云 AI专家大咖团
在 AI 技术飞速发展之际，DeepSeek 备受关注。它凭借哪些技术与理念脱颖而出？华为云与 DeepSeek 合作，将如何重塑产品与应用模式，助力企业数字化转型？在华为开发者空间，怎样高效部署 DeepSeek，搭建专属服务器？基于华为云平台，又该如何挖掘 DeepSeek 潜力，实现智能化升级？本期直播围绕DeepSeek在云上的应用案例，与DTSE布道师们一起探讨如何利用AI 驱动云上应用创新。
去报名
热门标签