- Hive on Tez常用调优参数 Hive on Tez常用调优参数
- 行mapreduce任务hadoop jar /opt/data/hadoop-mapreduce-examples-2.8.3.jar wordcount /user/ict01/item.log /user/ict01/output 目录下的jar包 jar包的主类首先初始化：source /opt/... 行mapreduce任务hadoop jar /opt/data/hadoop-mapreduce-examples-2.8.3.jar wordcount /user/ict01/item.log /user/ict01/output 目录下的jar包 jar包的主类首先初始化：source /opt/...
- 单词billed by traffic 按流量计费contain synchronization information 包含同步信息filter query 过滤查询tenant management 租户管理nic 网卡simulator 模拟器heterogeneous storage 异构存储 问题MRS创建用户/角色，添加hive admin的权限创建hive的外部表，加载数据并统... 单词billed by traffic 按流量计费contain synchronization information 包含同步信息filter query 过滤查询tenant management 租户管理nic 网卡simulator 模拟器heterogeneous storage 异构存储 问题MRS创建用户/角色，添加hive admin的权限创建hive的外部表，加载数据并统...
- 进入hive模式： set hive.cli.print.header=true; // 打印列名 set hive.cli.print.row.to.vertical=true; // 开启行转列功... 进入hive模式： set hive.cli.print.header=true; // 打印列名 set hive.cli.print.row.to.vertical=true; // 开启行转列功...
- PySpark + PyFlink + Hive 地震预测系统 介绍地震预测系统是基于大数据技术和分析平台，用于处理和分析海量地震数据，提供实时可视化和预测功能。通过使用 PySpark 进行批处理、PyFlink 执行流处理，以及 Hive 作为数据仓库存储地震数据，可以构建一个强大的地震监测和预测平台。 应用使用场景地震监测：实时分析和可视化地震活动。灾害预警：提前检测潜在地震风险，发... PySpark + PyFlink + Hive 地震预测系统 介绍地震预测系统是基于大数据技术和分析平台，用于处理和分析海量地震数据，提供实时可视化和预测功能。通过使用 PySpark 进行批处理、PyFlink 执行流处理，以及 Hive 作为数据仓库存储地震数据，可以构建一个强大的地震监测和预测平台。 应用使用场景地震监测：实时分析和可视化地震活动。灾害预警：提前检测潜在地震风险，发...
- 搭建单机hive环境本文假设搭建的路径在**/opt/sh**路径，并已经下载hive安装包及hadoop安装包https://downloads.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gzhttps://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3.... 搭建单机hive环境本文假设搭建的路径在**/opt/sh**路径，并已经下载hive安装包及hadoop安装包https://downloads.apache.org/hive/hive-3.1.3/apache-hive-3.1.3-bin.tar.gzhttps://downloads.apache.org/hadoop/common/hadoop-3.3.4/hadoop-3.3....
- 注意：此文档只适用于MRS2.X版本，非MRS2.0.0版本文档中对应的路径需要以实际路径为准1 创建RDS实例 创建RDS实例时指定为Postgres数据库可以参考： https://static.huaweicloud.com/upload/files/pdf/20171208/20171208101321_89598.pdf 注意：1）RDS实例的V... 注意：此文档只适用于MRS2.X版本，非MRS2.0.0版本文档中对应的路径需要以实际路径为准1 创建RDS实例 创建RDS实例时指定为Postgres数据库可以参考： https://static.huaweicloud.com/upload/files/pdf/20171208/20171208101321_89598.pdf 注意：1）RDS实例的V...
- 好几年前，支付宝推出的“余额宝”赚尽无数人的眼球，同时也吸引的大量的小额资金进入。“余额宝”把用户的散钱利息提高到了年化收益率4.0%左右，比起银行活期存储存款0.3%左右高出太多了，也正在撼动着银行躺着赚钱的地位。 好几年前，支付宝推出的“余额宝”赚尽无数人的眼球，同时也吸引的大量的小额资金进入。“余额宝”把用户的散钱利息提高到了年化收益率4.0%左右，比起银行活期存储存款0.3%左右高出太多了，也正在撼动着银行躺着赚钱的地位。
- Spark SQL编程 Spark SQL编程
- Hive 和 Mysql 的表操作语句类似，如果熟悉 Mysql，学习Hive 的表操作就非常容易了，下面对Hive的表操作进行深入讲解。 Hive 和 Mysql 的表操作语句类似，如果熟悉 Mysql，学习Hive 的表操作就非常容易了，下面对Hive的表操作进行深入讲解。
- Hive在客户端上的安装部署 Hive在客户端上的安装部署
- Hive最初是Facebook为了满足对海量社交网络数据的管理和机器学习的需求而产生和发展的。马云在退休的时候说互联网现在进入了大数据时代，大数据是现在互联网的趋势，而hadoop就是大数据时代里的核心技术，但是hadoop的mapreduce操作专业性太强，所以facebook在这些基础上开发了hive框架，毕竟世界上会sql的人比会java的人多的多，hive可以说是学习hadoop相关技术的 Hive最初是Facebook为了满足对海量社交网络数据的管理和机器学习的需求而产生和发展的。马云在退休的时候说互联网现在进入了大数据时代，大数据是现在互联网的趋势，而hadoop就是大数据时代里的核心技术，但是hadoop的mapreduce操作专业性太强，所以facebook在这些基础上开发了hive框架，毕竟世界上会sql的人比会java的人多的多，hive可以说是学习hadoop相关技术的
- 介绍三个朋友给大家。第一个（数据仓库）身材魁梧：他带来了历史和经验，而且能言会道，所说的大部分话都是真的。但是，在许多方面，它有些自我膨胀，在另一些方面又有些铺张浪费，而且人们厌烦了各种结果的代价。Apache Hadoop 进入了同一栋建筑，声称要接管整个市场。他大肆鼓吹大数据、速度、数据量、种类以及一堆 v 开头的词汇，这些词汇在市场营销计划之外没有多大意义。他漫不经心地说着分析、预测等... 介绍三个朋友给大家。第一个（数据仓库）身材魁梧：他带来了历史和经验，而且能言会道，所说的大部分话都是真的。但是，在许多方面，它有些自我膨胀，在另一些方面又有些铺张浪费，而且人们厌烦了各种结果的代价。Apache Hadoop 进入了同一栋建筑，声称要接管整个市场。他大肆鼓吹大数据、速度、数据量、种类以及一堆 v 开头的词汇，这些词汇在市场营销计划之外没有多大意义。他漫不经心地说着分析、预测等...
- Sqoop 是一个数据转储工具，它能够将 hadoop HDFS 中的数据转储到关系型数据库中，也能将关系型数据库中的数据转储到 HDFS 中。 Sqoop 是一个数据转储工具，它能够将 hadoop HDFS 中的数据转储到关系型数据库中，也能将关系型数据库中的数据转储到 HDFS 中。
- 一、设置参数--允许使用动态分区可通过set hive.exec.dynamic.partition;查看set hive.exec.dynamic.partition=true;--当需要设置所有列为dynamic时需要这样设置set hive.exec.dynamic.partition.mode=nonstrict;--如果分区总数超过这个数量会报错set hive.exec.max.... 一、设置参数--允许使用动态分区可通过set hive.exec.dynamic.partition;查看set hive.exec.dynamic.partition=true;--当需要设置所有列为dynamic时需要这样设置set hive.exec.dynamic.partition.mode=nonstrict;--如果分区总数超过这个数量会报错set hive.exec.max....
上滑加载中
推荐直播
-
大模型Prompt工程深度实践2025/02/24 周一 16:00-17:30
盖伦 华为云学堂技术讲师
如何让大模型精准理解开发需求并生成可靠输出？本期直播聚焦大模型Prompt工程核心技术：理解大模型推理基础原理，关键采样参数定义，提示词撰写关键策略及Prompt工程技巧分享。
回顾中 -
华为云 x DeepSeek：AI驱动云上应用创新2025/02/26 周三 16:00-18:00
华为云 AI专家大咖团
在 AI 技术飞速发展之际，DeepSeek 备受关注。它凭借哪些技术与理念脱颖而出？华为云与 DeepSeek 合作，将如何重塑产品与应用模式，助力企业数字化转型？在华为开发者空间，怎样高效部署 DeepSeek，搭建专属服务器？基于华为云平台，又该如何挖掘 DeepSeek 潜力，实现智能化升级？本期直播围绕DeepSeek在云上的应用案例，与DTSE布道师们一起探讨如何利用AI 驱动云上应用创新。
去报名
热门标签