- 大数据融合分析时代，GaussDB(DWS)如需访问MRS数据源，该如何实现？本期云小课带您开启MRS数据源之门，通过远程读取MRS集群Hive上的ORC数据表完成数据导入DWS。准备环境需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内，确保集群网络互通。基本流程1、创建MRS分析集群（选择Hive组件）。2、通过将本地txt数据文件上传至OBS桶，再通过OBS桶导入Hive，... 大数据融合分析时代，GaussDB(DWS)如需访问MRS数据源，该如何实现？本期云小课带您开启MRS数据源之门，通过远程读取MRS集群Hive上的ORC数据表完成数据导入DWS。准备环境需确保MRS和DWS集群在同一个区域、可用区、同一VPC子网内，确保集群网络互通。基本流程1、创建MRS分析集群（选择Hive组件）。2、通过将本地txt数据文件上传至OBS桶，再通过OBS桶导入Hive，...
- Hive笔记05 – Hive UDF UDTF UDAF UDF UDF在Hive中的实现 UDF的创建与配置 类名定义规则示例：com.ybg.hive.ql.func.udf.UDFDateDiffByUnit规则：反向域名+模块名+功能分类(ql.func.udf：hive查询语言中的UDF函数)+具体功能|类名 基本配置New Project - Maven模板<properti... Hive笔记05 – Hive UDF UDTF UDAF UDF UDF在Hive中的实现 UDF的创建与配置 类名定义规则示例：com.ybg.hive.ql.func.udf.UDFDateDiffByUnit规则：反向域名+模块名+功能分类(ql.func.udf：hive查询语言中的UDF函数)+具体功能|类名 基本配置New Project - Maven模板<properti...
- 前言该实战项目的目的在于通过基于小型数据的Hive数仓构建进行的业务分析来做到以小见大，熟悉实际生产情况下构建Hive数仓解决实际问题的场景。本文内容较多，包含了从前期准备到数据分析的方案，代码，问题，解决方法等等，分析的数据文件 和 Zeppelin中的源文件 都已放在文章顶部，请先行下载，并配置好Zeppelin Hive相关环境后再进行阅读。相信认真读完并参与你一定会有收获！ 需求概... 前言该实战项目的目的在于通过基于小型数据的Hive数仓构建进行的业务分析来做到以小见大，熟悉实际生产情况下构建Hive数仓解决实际问题的场景。本文内容较多，包含了从前期准备到数据分析的方案，代码，问题，解决方法等等，分析的数据文件 和 Zeppelin中的源文件 都已放在文章顶部，请先行下载，并配置好Zeppelin Hive相关环境后再进行阅读。相信认真读完并参与你一定会有收获！ 需求概...
- 对接HiveMetaStore，拥抱开源大数据 对接HiveMetaStore，拥抱开源大数据 1. 前言 2. 原理浅析 2.1 什么是HiveMetaStore 2.2 external schema与schema的区别 2.3 原理说明 3. 与hivememtastore对接流程 3.1 准备环境 3.2 在hive端创建需要对接的表 3.3 创建外部服务器 3.4 创建EXTER... 对接HiveMetaStore，拥抱开源大数据 对接HiveMetaStore，拥抱开源大数据 1. 前言 2. 原理浅析 2.1 什么是HiveMetaStore 2.2 external schema与schema的区别 2.3 原理说明 3. 与hivememtastore对接流程 3.1 准备环境 3.2 在hive端创建需要对接的表 3.3 创建外部服务器 3.4 创建EXTER...
- 实时同步MySQL数据到Hive案例：将mysql中新增的数据实时同步到Hive中。以上案例需要用到的处理器有：“CaptureChangeMySQL”、“RouteOnAttribute”、“EvaluateJsonPath”、“ReplaceText”、“PutHiveQL”。首先通过“CaptureChangeMySQL”读取MySQL中数据的变化（需要开启MySQL binlog日... 实时同步MySQL数据到Hive案例：将mysql中新增的数据实时同步到Hive中。以上案例需要用到的处理器有：“CaptureChangeMySQL”、“RouteOnAttribute”、“EvaluateJsonPath”、“ReplaceText”、“PutHiveQL”。首先通过“CaptureChangeMySQL”读取MySQL中数据的变化（需要开启MySQL binlog日...
- Impala入门介绍一、impala基本介绍impala是cloudera提供的一款高效率的sql查询工具，提供实时的查询效果，官方测试性能比hive快10到100倍，其sql查询比sparkSQL还要更加快速，号称是当前大数据领域最快的查询sql工具，impala是参照谷歌的新三篇论文（Caffeine--网络搜索引擎、Pregel--分布式图计算、Dremel--交互式分析工具）当中的... Impala入门介绍一、impala基本介绍impala是cloudera提供的一款高效率的sql查询工具，提供实时的查询效果，官方测试性能比hive快10到100倍，其sql查询比sparkSQL还要更加快速，号称是当前大数据领域最快的查询sql工具，impala是参照谷歌的新三篇论文（Caffeine--网络搜索引擎、Pregel--分布式图计算、Dremel--交互式分析工具）当中的...
- 本文是《CDH+Kylin三部曲》系列的终篇，一起来实践kylin官方的demo 本文是《CDH+Kylin三部曲》系列的终篇，一起来实践kylin官方的demo
- Spark3.1.2与Iceberg0.12.1整合Spark可以操作Iceberg数据湖，这里使用的Iceberg的版本为0.12.1，此版本与Spark2.4版本之上兼容。由于在Spark2.4版本中在操作Iceberg时不支持DDL、增加分区及增加分区转换、Iceberg元数据查询、insert into/overwrite等操作，建议使用Spark3.x版本来整合Iceberg0.1... Spark3.1.2与Iceberg0.12.1整合Spark可以操作Iceberg数据湖，这里使用的Iceberg的版本为0.12.1，此版本与Spark2.4版本之上兼容。由于在Spark2.4版本中在操作Iceberg时不支持DDL、增加分区及增加分区转换、Iceberg元数据查询、insert into/overwrite等操作，建议使用Spark3.x版本来整合Iceberg0.1...
- theme: smartblue持续创作，加速成长！这是我参与「掘金日新计划 · 6 月更文挑战」的第15天，点击查看活动详情 Logistics_Day11：主题及指标开发 01-[复习]-上次内容回顾业务一：将业务数据实时增量存储至Kudu表，进行离线报表分析及即席查询分析，技术框架如下。1）、离线报表分析：1个主题报表【快递单tbl_express_bill主题报表开发】按照数据仓库... theme: smartblue持续创作，加速成长！这是我参与「掘金日新计划 · 6 月更文挑战」的第15天，点击查看活动详情 Logistics_Day11：主题及指标开发 01-[复习]-上次内容回顾业务一：将业务数据实时增量存储至Kudu表，进行离线报表分析及即席查询分析，技术框架如下。1）、离线报表分析：1个主题报表【快递单tbl_express_bill主题报表开发】按照数据仓库...
- Hive与Iceberg整合Iceberg就是一种表格式，支持使用Hive对Iceberg进行读写操作，但是对Hive的版本有要求，如下：操作Hive 2.xHive 3.1.2CREATE EXTERNAL TABLE√√CREATE TABLE√√DROP TABLE√√SELECT√√INSERT INTO√√这里基于Hive3.1.2版本进行Hive操作Iceberg表讲解。一、开启... Hive与Iceberg整合Iceberg就是一种表格式，支持使用Hive对Iceberg进行读写操作，但是对Hive的版本有要求，如下：操作Hive 2.xHive 3.1.2CREATE EXTERNAL TABLE√√CREATE TABLE√√DROP TABLE√√SELECT√√INSERT INTO√√这里基于Hive3.1.2版本进行Hive操作Iceberg表讲解。一、开启...
- Hue是一组WEB应用，用于和MRS大数据组件进行交互，能够帮助用户浏览HDFS，进行Hive查询，启动MapReduce任务等。它承载了与所有MRS大数据组件交互的应用。 Hue是一组WEB应用，用于和MRS大数据组件进行交互，能够帮助用户浏览HDFS，进行Hive查询，启动MapReduce任务等。它承载了与所有MRS大数据组件交互的应用。
- Hive是一个基于hadoop的数据仓库，他可以将Parquet/ORC等结构化数据文件映射成表，并提供类SQL功能（HQL），输入的SQL语句会在处理后转化为MapReduce作业，最后提交到Yarn上运行。特点：简单容易上手，通过提供类似SQL的语言HQL，使得熟悉sql的人可以平滑迁移到hive上来，进行大数据分析。灵活性高，可以自定义用户函数和存储格式为超大的数据集设计的计算和存储能... Hive是一个基于hadoop的数据仓库，他可以将Parquet/ORC等结构化数据文件映射成表，并提供类SQL功能（HQL），输入的SQL语句会在处理后转化为MapReduce作业，最后提交到Yarn上运行。特点：简单容易上手，通过提供类似SQL的语言HQL，使得熟悉sql的人可以平滑迁移到hive上来，进行大数据分析。灵活性高，可以自定义用户函数和存储格式为超大的数据集设计的计算和存储能...
- Spark性能优化案例主流大数据技术都是开源的：Hadoop大数据存储与计算产品Hive、Spark SQL大数据仓库Storm、Flink这样的大数据流计算产品Mahout、MLlib大数据机器学习算法库如何参与Apache软件开发，如何进行软件性能优化及Spark源码优化：更深入、系统地了解软件性能优化更深入了解Spark的一些运行机制，同时也可以了解Apache开源社区的运作模式。因... Spark性能优化案例主流大数据技术都是开源的：Hadoop大数据存储与计算产品Hive、Spark SQL大数据仓库Storm、Flink这样的大数据流计算产品Mahout、MLlib大数据机器学习算法库如何参与Apache软件开发，如何进行软件性能优化及Spark源码优化：更深入、系统地了解软件性能优化更深入了解Spark的一些运行机制，同时也可以了解Apache开源社区的运作模式。因...
- 👨🏻🎓博主介绍：大家好，我是芝士味的椒盐，一名在校大学生，热爱分享知识，很高兴在这里认识大家🌟🌈擅长领域：Java、大数据、运维、电子🙏🏻如果本文章各位小伙伴们有帮助的话，🍭关注+👍🏻点赞+🗣评论+📦收藏，相应的有空了我也会回访，互助！！！🤝另本人水平有限，旨在创作简单易懂的文章，在文章描述时如有错，恳请各位大佬指正，在此感谢！！！大数据业务分为两大：实时计... 👨🏻🎓博主介绍：大家好，我是芝士味的椒盐，一名在校大学生，热爱分享知识，很高兴在这里认识大家🌟🌈擅长领域：Java、大数据、运维、电子🙏🏻如果本文章各位小伙伴们有帮助的话，🍭关注+👍🏻点赞+🗣评论+📦收藏，相应的有空了我也会回访，互助！！！🤝另本人水平有限，旨在创作简单易懂的文章，在文章描述时如有错，恳请各位大佬指正，在此感谢！！！大数据业务分为两大：实时计...
- Hive如何让MapReduce实现SQL操作MapReduce简化了大数据编程的难度，使得大数据计算不再是高不可攀的技术圣殿，普通工程师也能使用MapReduce开发大数据程序。但是对于经常需要进行大数据计算的人，比如从事研究商业智能（BI）的数据分析师来说，他们通常使用SQL进行大数据分析和统计，MapReduce编程还是有一定的门槛。而且如果每次统计和分析都开发相应的MapReduce... Hive如何让MapReduce实现SQL操作MapReduce简化了大数据编程的难度，使得大数据计算不再是高不可攀的技术圣殿，普通工程师也能使用MapReduce开发大数据程序。但是对于经常需要进行大数据计算的人，比如从事研究商业智能（BI）的数据分析师来说，他们通常使用SQL进行大数据分析和统计，MapReduce编程还是有一定的门槛。而且如果每次统计和分析都开发相应的MapReduce...
上滑加载中
推荐直播
-
物联网资深专家带你轻松构建AIoT智能场景应用2024/11/21 周四 16:30-18:00
管老师 华为云IoT DTSE技术布道师
如何轻松构建AIoT智能场景应用？本期直播将聚焦华为云设备接入平台，结合AI、鸿蒙（OpenHarmony）、大数据等技术，实现物联网端云协同创新场景，教您如何打造更有实用性及创新性的AIoT行业标杆应用。
回顾中 -
Ascend C算子编程之旅：基础入门篇2024/11/22 周五 16:00-17:30
莫老师 昇腾CANN专家
介绍Ascend C算子基本概念、异构计算架构CANN和Ascend C基本概述，以及Ascend C快速入门，夯实Ascend C算子编程基础
即将直播 -
深入解析：华为全栈AI解决方案与云智能开放能力2024/11/22 周五 18:20-20:20
Alex 华为云学堂技术讲师
本期直播我们将重点为大家介绍华为全栈全场景AI解决方案以和华为云企业智能AI开放能力。旨在帮助开发者深入理解华为AI解决方案，并能够更加熟练地运用这些技术。通过洞悉华为解决方案，了解人工智能完整生态链条的构造。
去报名
热门标签