- 编辑Hive基础02、安装Hive前置开启【hdfs】，六个服务都要在。start-all.shjps编辑安装Hive1、解压【Hive】tar -zxvf apache-hive-2.1.0-bin.tar.gz编辑由于命名不合适，所以更换一下：mv apache-hive-2.1.0-bin/ hive编辑2、修改配置在“/opt/hive/conf”目录下拷贝“hive-... 编辑Hive基础02、安装Hive前置开启【hdfs】，六个服务都要在。start-all.shjps编辑安装Hive1、解压【Hive】tar -zxvf apache-hive-2.1.0-bin.tar.gz编辑由于命名不合适，所以更换一下：mv apache-hive-2.1.0-bin/ hive编辑2、修改配置在“/opt/hive/conf”目录下拷贝“hive-...
- 编辑Hive基础01、安装MySQL目录1、安装需要的包2、卸载不需要的包3、安装MySQL服务端4、安装MySQL客户端5、登录MySQL6、修改密码7、分配master权限8、刷新权限登录测试 1、安装需要的包前置位置有【MySQL-server-5.1.73-1.glibc23.x86_64.rpm】和【MySQL-client-5.1.73-1.glibc23.x86_64.r... 编辑Hive基础01、安装MySQL目录1、安装需要的包2、卸载不需要的包3、安装MySQL服务端4、安装MySQL客户端5、登录MySQL6、修改密码7、分配master权限8、刷新权限登录测试 1、安装需要的包前置位置有【MySQL-server-5.1.73-1.glibc23.x86_64.rpm】和【MySQL-client-5.1.73-1.glibc23.x86_64.r...
- 大数据入门核心技术栏目是为初学者精心打造入门大数据必学知识整理，内容十分丰富，集合将近200篇高质文章带你轻松学习。 但是由于文章很多，集合很多不同系列的知识点，在栏目里面难以标注顺序，这次博主花时间整理一份详细的学习指南，对于刚学习大数据的初学者是非常友好的。 只要跟着学，想进入大数据做开发是很容易的，前提你得自律加坚持。 大数据入门核心技术栏目是为初学者精心打造入门大数据必学知识整理，内容十分丰富，集合将近200篇高质文章带你轻松学习。 但是由于文章很多，集合很多不同系列的知识点，在栏目里面难以标注顺序，这次博主花时间整理一份详细的学习指南，对于刚学习大数据的初学者是非常友好的。 只要跟着学，想进入大数据做开发是很容易的，前提你得自律加坚持。
- Hive Metastore作为元数据管理中心，支持多种计算引擎的读取操作，例如Flink、Presto、Spark等。本文讲述通过spark SQL配置连接Hive Metastore，并以3.1.2版本为例。通过Spark连接Hive Metastore，需要准备如下文件：hive-site.xmlapache-hive-3.1.2-binspark-3.0.3-bin-hadoop3.... Hive Metastore作为元数据管理中心，支持多种计算引擎的读取操作，例如Flink、Presto、Spark等。本文讲述通过spark SQL配置连接Hive Metastore，并以3.1.2版本为例。通过Spark连接Hive Metastore，需要准备如下文件：hive-site.xmlapache-hive-3.1.2-binspark-3.0.3-bin-hadoop3....
- Hive列统计信息Hive的列统计信息记录了Hive表字段的元信息，根据字段类型的不同，统计的元信息也是稍有差异的。本文讲述两种常用的字段类型，int和string。int类型有4个统计信息，分别是：min、max、num_nulls、distinct_count；string类型也有4个统计信息，分别是： num_nulls、distinct_count、avg_col_len、max_c... Hive列统计信息Hive的列统计信息记录了Hive表字段的元信息，根据字段类型的不同，统计的元信息也是稍有差异的。本文讲述两种常用的字段类型，int和string。int类型有4个统计信息，分别是：min、max、num_nulls、distinct_count；string类型也有4个统计信息，分别是： num_nulls、distinct_count、avg_col_len、max_c...
- Hive on tez任务计算map任务是在AM中计算，而不是在hiveserver中计算，有别于hive on mr任务。hive on tez中计算map任务个数主要分为两个步骤：一是计算splits个数；二是将splits分组，分组数即为map数量1. 先通过HiveInputFormat.getSplits 初步计算split的个数，实际上是调用FileInputFormat.ge... Hive on tez任务计算map任务是在AM中计算，而不是在hiveserver中计算，有别于hive on mr任务。hive on tez中计算map任务个数主要分为两个步骤：一是计算splits个数；二是将splits分组，分组数即为map数量1. 先通过HiveInputFormat.getSplits 初步计算split的个数，实际上是调用FileInputFormat.ge...
- 本文主要解析介绍Hive虚拟列INPUT__FILE__NAME相关源码 本文主要解析介绍Hive虚拟列INPUT__FILE__NAME相关源码
- 本文主要解析介绍Hive虚拟列相关源码 本文主要解析介绍Hive虚拟列相关源码
- 初始化Hive仓库报错 初始化Hive仓库报错
- 请根据上传内容查阅。 请根据上传内容查阅。
- 2020-08-08：有一批气象观测站，现需要获取这些站点的观测数据，并存储到 Hive 中。但是气象局只提供了 api 查询，每次只能查询单个观测点。那么如果能够方便快速地获取到所有的观测点的数据？福哥答案2020-08-08：参考答案：A.通过shell 或python 等调用api，结果先暂存本地，最后将本地文件上传到 Hive 中。B.通过 datax 的 httpReader 和 ... 2020-08-08：有一批气象观测站，现需要获取这些站点的观测数据，并存储到 Hive 中。但是气象局只提供了 api 查询，每次只能查询单个观测点。那么如果能够方便快速地获取到所有的观测点的数据？福哥答案2020-08-08：参考答案：A.通过shell 或python 等调用api，结果先暂存本地，最后将本地文件上传到 Hive 中。B.通过 datax 的 httpReader 和 ...
- 1.1 业务场景模拟使用Loader工具将客户移动电话系统产生的历史数据从原始数据库Mysql导入到Hive中，进行离线分析。1.2 操作步骤1.2.1 创建用户1. 进入FunsionInsight Manager界面，进去系统，创建本次测试用户，给予最大权限即可。1.2.2 Loader准备工作1. 获取关系型数据库对应的驱... 1.1 业务场景模拟使用Loader工具将客户移动电话系统产生的历史数据从原始数据库Mysql导入到Hive中，进行离线分析。1.2 操作步骤1.2.1 创建用户1. 进入FunsionInsight Manager界面，进去系统，创建本次测试用户，给予最大权限即可。1.2.2 Loader准备工作1. 获取关系型数据库对应的驱...
- 前言Hive 作为大数据领域常用的数据仓库组件，在平时设计和查询的时候要特别注意效率 。影响 Hive 效率的几乎从不是数据量过大，而是数据倾斜、数据冗余、Job或I/O过多、MapReduce 分配不合理等等。 对Hive 的调优既包含 Hive 的建表设计方面，对 HiveHQL 语句本身的优化，也包含 Hive 配置参数 和 底层引擎 MapReduce 方面的调整 。为了不盲目地学习... 前言Hive 作为大数据领域常用的数据仓库组件，在平时设计和查询的时候要特别注意效率 。影响 Hive 效率的几乎从不是数据量过大，而是数据倾斜、数据冗余、Job或I/O过多、MapReduce 分配不合理等等。 对Hive 的调优既包含 Hive 的建表设计方面，对 HiveHQL 语句本身的优化，也包含 Hive 配置参数 和 底层引擎 MapReduce 方面的调整 。为了不盲目地学习...
- 关于hive中Map join 时大表left join小表的问题 在hive中，（启用Map join时） 大表left join小表，加载从右向左，所以小表会加载进内存，存储成map键值对，通过大表... 关于hive中Map join 时大表left join小表的问题 在hive中，（启用Map join时） 大表left join小表，加载从右向左，所以小表会加载进内存，存储成map键值对，通过大表...
- 文章目录 一、准备工作 1、启动Hadoop 2、启动Hive 二、数据库操作 1、创建数据库 2、查询数据库... 文章目录 一、准备工作 1、启动Hadoop 2、启动Hive 二、数据库操作 1、创建数据库 2、查询数据库...
上滑加载中
推荐直播
-
Skill 构建 × 智能创作：基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟，华为云软件研发工程师/万邵业（万少），华为云HCDE开发者专家
本次直播带来两大实战：华为云码道 Skill-Creator 手把手搭建专属知识库 Skill；如何用码道提效 OpenClaw 小说文本，打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路，一次讲透！
回顾中 -
码道新技能，AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动，聚焦两大 AI 开发场景：通过实战教学，带你打造 AI 编程自动生成视频 Skill，并实现对 GitHub 热门开源项目的智能知识抽取，手把手掌握 Skill 开发全流程，用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道：零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据，采用Transformer算法进行时序预测与涨跌分析，并集成DeepSeek API提供智能解读。同时，项目深度结合华为云CodeArts（码道）的代码智能体能力，实现代码一键推送至云端代码仓库，建立起高效、可协作的团队开发新范式。开发者可快速上手，从零打造功能完整的个股筛选、智能分析与风险管控产品。
回顾中
热门标签