- GaussDB DWS的SQL ON ANYWHERE技术解密 GaussDB DWS的SQL ON ANYWHERE技术解密 1. 前言 2. 什么是SQL On Anywhere 3. GaussDB(DWS)SQL On Anywhere的作用及其应用场景 4. GaussDB(DWS)SQL On Anywhere的实现方式 3.1 利用FDW访问HDFS/OBS数据 3.2 通... GaussDB DWS的SQL ON ANYWHERE技术解密 GaussDB DWS的SQL ON ANYWHERE技术解密 1. 前言 2. 什么是SQL On Anywhere 3. GaussDB(DWS)SQL On Anywhere的作用及其应用场景 4. GaussDB(DWS)SQL On Anywhere的实现方式 3.1 利用FDW访问HDFS/OBS数据 3.2 通...
- 本项目使用了华为云服务提供的基于鲲鹏计算架构的远程ECS主机和OBS对象存储服务，完成了Hadoop集群搭建、HDFS环境配置和系统功能验证等实验任务，并通过多个ECS主机作为Hadoop集群节点，了解Hadoop的工作原理和环境构建过程。实验结束后，成功在4个ECS服务器节点上部署运行了HDFS，且可以通过SSH协议正常访问。 本项目使用了华为云服务提供的基于鲲鹏计算架构的远程ECS主机和OBS对象存储服务，完成了Hadoop集群搭建、HDFS环境配置和系统功能验证等实验任务，并通过多个ECS主机作为Hadoop集群节点，了解Hadoop的工作原理和环境构建过程。实验结束后，成功在4个ECS服务器节点上部署运行了HDFS，且可以通过SSH协议正常访问。
- 华为云之使用ECS弹性云服务器部署Hadoop环境【玩转华为云】 华为云之使用ECS弹性云服务器部署Hadoop环境【玩转华为云】
- Flink History Server配置使用基于Standalone或者Yarn模式提交Flink任务后，当任务执行失败、取消或者完成后，可以在WebUI中查看对应任务的统计信息，这些统计信息在生产环境中对我们来说非常重要，可以知道一个任务异常挂掉前发生了什么，便于定位问题。当基于Standalone session模式提交相应任务时，集群重启后我们没有办法查看集群之前运行任务的情况，... Flink History Server配置使用基于Standalone或者Yarn模式提交Flink任务后，当任务执行失败、取消或者完成后，可以在WebUI中查看对应任务的统计信息，这些统计信息在生产环境中对我们来说非常重要，可以知道一个任务异常挂掉前发生了什么，便于定位问题。当基于Standalone session模式提交相应任务时，集群重启后我们没有办法查看集群之前运行任务的情况，...
- Yarn核心高频面试题一、简述Hadoop1与Hadoop2的架构异同加入了yarn解决了资源调度的问题。加入了对zookeeper的支持实现比较可靠的高可用。二、为什么会产生yarn，它解决了什么问题，有什么优势？Yarn最主要的功能就是解决运行的用户程序与yarn框架完全解耦。Yarn上可以运行各种类型的分布式运算程序（mapreduce只是其中的一种），比如mapreduce、stor... Yarn核心高频面试题一、简述Hadoop1与Hadoop2的架构异同加入了yarn解决了资源调度的问题。加入了对zookeeper的支持实现比较可靠的高可用。二、为什么会产生yarn，它解决了什么问题，有什么优势？Yarn最主要的功能就是解决运行的用户程序与yarn框架完全解耦。Yarn上可以运行各种类型的分布式运算程序（mapreduce只是其中的一种），比如mapreduce、stor...
- HDFS核心高频面试题一、HDFS的存储机制（读写流程）HDFS存储机制，包括HDFS的写入过程和读取过程两个部分1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。2）namenode返回是否可以上传。3）客户端请求第一个 block上传到哪几个datanode服务器上。4）namenode返回3个datanode节点，分别为dn1、dn2、d... HDFS核心高频面试题一、HDFS的存储机制（读写流程）HDFS存储机制，包括HDFS的写入过程和读取过程两个部分1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。2）namenode返回是否可以上传。3）客户端请求第一个 block上传到哪几个datanode服务器上。4）namenode返回3个datanode节点，分别为dn1、dn2、d...
- HDFS核心高频面试题一、HDFS的存储机制（读写流程）HDFS存储机制，包括HDFS的写入过程和读取过程两个部分1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。2）namenode返回是否可以上传。3）客户端请求第一个 block上传到哪几个datanode服务器上。4）namenode返回3个datanode节点，分别为dn1、dn2... HDFS核心高频面试题一、HDFS的存储机制（读写流程）HDFS存储机制，包括HDFS的写入过程和读取过程两个部分1）客户端向namenode请求上传文件，namenode检查目标文件是否已存在，父目录是否存在。2）namenode返回是否可以上传。3）客户端请求第一个 block上传到哪几个datanode服务器上。4）namenode返回3个datanode节点，分别为dn1、dn2...
- 本文是《CDH+Kylin三部曲》系列的终篇，一起来实践kylin官方的demo 本文是《CDH+Kylin三部曲》系列的终篇，一起来实践kylin官方的demo
- 上一篇文章完成了所有准备工作，现在可以来部署和启动Kylin了 上一篇文章完成了所有准备工作，现在可以来部署和启动Kylin了
- 启动CDH5之后，部分组件未能启动成功，将所有修复过程汇总再次，期待能给您一些参考 启动CDH5之后，部分组件未能启动成功，将所有修复过程汇总再次，期待能给您一些参考
- 本文是《CDH5部署三部曲》的第二篇，前文将集群所有机器做了必要的设置，今天一起来完成CDH的部署、启动、设置等操作 本文是《CDH5部署三部曲》的第二篇，前文将集群所有机器做了必要的设置，今天一起来完成CDH的部署、启动、设置等操作
- 本篇文章主要讲解DataFactory的维度建模概念，业务驱动模型开发流程以及两种开发模式的对比。 通过本文了解DataFactory双轮驱动指哪两种开发模式？它们的具体流程是什么？分别适合什么场景？如何选择适合自己的模式？助力大家数据开发之旅~ 本篇文章主要讲解DataFactory的维度建模概念，业务驱动模型开发流程以及两种开发模式的对比。 通过本文了解DataFactory双轮驱动指哪两种开发模式？它们的具体流程是什么？分别适合什么场景？如何选择适合自己的模式？助力大家数据开发之旅~
- hadoop概要与总结 hadoop概要与总结
- 随着大数据时代的来临，数据量不断增长，传统小机上跑数据库的模式扩容困难且成本高昂，难以支撑业务发展。很多用户开始转向分布式计算路线，用多台廉价的PC服务器组成集群来完成大数据计算任务。Hadoop/Spark就是其中重要的软件技术，由于开源免费而广受欢迎。经过多年的应用和发展，Hadoop已经被广泛接受，不仅直接应用于数据计算，还发展出很多基于它的新数据库，比如Hive、Impala等。 H... 随着大数据时代的来临，数据量不断增长，传统小机上跑数据库的模式扩容困难且成本高昂，难以支撑业务发展。很多用户开始转向分布式计算路线，用多台廉价的PC服务器组成集群来完成大数据计算任务。Hadoop/Spark就是其中重要的软件技术，由于开源免费而广受欢迎。经过多年的应用和发展，Hadoop已经被广泛接受，不仅直接应用于数据计算，还发展出很多基于它的新数据库，比如Hive、Impala等。 H...
- Apache Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限 。 Apache Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限 。
上滑加载中
推荐直播
-
华为云 x DeepSeek：AI驱动云上应用创新2025/02/26 周三 16:00-18:00
华为云 AI专家大咖团
在 AI 技术飞速发展之际，DeepSeek 备受关注。它凭借哪些技术与理念脱颖而出？华为云与 DeepSeek 合作，将如何重塑产品与应用模式，助力企业数字化转型？在华为开发者空间，怎样高效部署 DeepSeek，搭建专属服务器？基于华为云平台，又该如何挖掘 DeepSeek 潜力，实现智能化升级？本期直播围绕DeepSeek在云上的应用案例，与DTSE布道师们一起探讨如何利用AI 驱动云上应用创新。
回顾中 -
智能观测进化论系列沙龙（第一期）2025/02/28 周五 14:00-16:30
华为及外部讲师团
本期直播就智能化可观测技术的融合与创新、落地与实践、瓶颈与未来等业界关心的话题进行深入探讨。
回顾中 -
聚焦Deepseek，洞察开发者生态发展2025/02/28 周五 19:00-20:30
蒋涛 csdn创始人
深入剖析Deepseek爆发后，中国开发者生态潜藏的巨大发展潜能与未来走向，精准提炼出可供大家把握的时代机遇，干货满满，不容错过。
回顾中
热门标签