- Hivemetastore三种配置方式Apache Hive 是一个基于 Hadoop 的数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的 SQL 查询功能,可以将 SQL 语句转换为 MapReduce 任务进行运行。其核心组件之一是 Hive Metastore,用于存储元数据信息,如表结构、分区信息等。本文将介绍 Hivemetore 的三种配置方式。1. 内嵌式(... Hivemetastore三种配置方式Apache Hive 是一个基于 Hadoop 的数据仓库工具,可以将结构化的数据文件映射为一张数据库表,并提供简单的 SQL 查询功能,可以将 SQL 语句转换为 MapReduce 任务进行运行。其核心组件之一是 Hive Metastore,用于存储元数据信息,如表结构、分区信息等。本文将介绍 Hivemetore 的三种配置方式。1. 内嵌式(...
- 最近在做IoT监控项目时,遇到了时序数据库的经典难题——高基数问题。数据标签太多,导致数据库性能急剧下降。这篇文章记录了我们团队用Java + InfluxDB解决这个问题的完整过程,包括踩过的坑和最终的解决方案。 1. 项目架构设计 1.1 整体架构┌─────────────────┐ ┌─────────────────┐ ┌─────────────────┐│ 数据... 最近在做IoT监控项目时,遇到了时序数据库的经典难题——高基数问题。数据标签太多,导致数据库性能急剧下降。这篇文章记录了我们团队用Java + InfluxDB解决这个问题的完整过程,包括踩过的坑和最终的解决方案。 1. 项目架构设计 1.1 整体架构┌─────────────────┐ ┌─────────────────┐ ┌─────────────────┐│ 数据...
- 时序数据库高基数问题通俗解读 — 当数据标签太多时会发生什么?物联网时代,数据量爆炸式增长。当你的时序数据库开始变慢,甚至崩溃时,很可能遇到了"高基数问题"。这个看似技术性的名词,背后隐藏着什么样的技术陷阱? 1. 物联网时代的数据挑战想象一下,你家里有智能温度计、湿度计、空气质量检测器等各种传感器,每隔几秒钟就会上报一次数据。现在把这个场景放大到整个城市:10万个物联网设备,每5秒发送一... 时序数据库高基数问题通俗解读 — 当数据标签太多时会发生什么?物联网时代,数据量爆炸式增长。当你的时序数据库开始变慢,甚至崩溃时,很可能遇到了"高基数问题"。这个看似技术性的名词,背后隐藏着什么样的技术陷阱? 1. 物联网时代的数据挑战想象一下,你家里有智能温度计、湿度计、空气质量检测器等各种传感器,每隔几秒钟就会上报一次数据。现在把这个场景放大到整个城市:10万个物联网设备,每5秒发送一...
- 一、autovacuum 是干什么的?—— PostgreSQL 的 “自动清洁工 + 优化师”PostgreSQL 基于 MVCC(多版本并发控制) 机制工作,这个机制会导致两个关键问题,而 autovacuum 就是专门解决这两个问题的后台进程:1. 核心功能 1:清理 “死元组”(垃圾数据)当你执行 DELETE 或 UPDATE 时,PostgreSQL 不会直接删除旧数据:DELE... 一、autovacuum 是干什么的?—— PostgreSQL 的 “自动清洁工 + 优化师”PostgreSQL 基于 MVCC(多版本并发控制) 机制工作,这个机制会导致两个关键问题,而 autovacuum 就是专门解决这两个问题的后台进程:1. 核心功能 1:清理 “死元组”(垃圾数据)当你执行 DELETE 或 UPDATE 时,PostgreSQL 不会直接删除旧数据:DELE...
- LBA-ECO ND-30 Fractional Cover of Mixed Land Use Ranches, Para and Rondonia, Brazil简介本数据集包含 1996 年至 2002 年间巴西亚马逊地区两个牧场的 Landsat 影像(30 米分辨率),这些影像提取了光合植被(PV)冠层、非光合植被(NPV)和裸露土壤(S)的覆盖率估算值。维多利亚农场(Fazen... LBA-ECO ND-30 Fractional Cover of Mixed Land Use Ranches, Para and Rondonia, Brazil简介本数据集包含 1996 年至 2002 年间巴西亚马逊地区两个牧场的 Landsat 影像(30 米分辨率),这些影像提取了光合植被(PV)冠层、非光合植被(NPV)和裸露土壤(S)的覆盖率估算值。维多利亚农场(Fazen...
- 1 1.1 总结本文档围绕 GaussDB 日常运维核心操作展开,重点覆盖三大模块:数据库连接管理(支持 DAS 可视化连接、内网高安全连接、公网弹性 IP 连接,推荐优先使用 DAS 和内网)、数据导入导出(按场景匹配工具:元数据用gs_dump/gs_restore、小批量数据用copy、文本格式用gsql元命令、分布式大批量用GDS,GDS 通过多 DN 并行导入导出突破... 1 1.1 总结本文档围绕 GaussDB 日常运维核心操作展开,重点覆盖三大模块:数据库连接管理(支持 DAS 可视化连接、内网高安全连接、公网弹性 IP 连接,推荐优先使用 DAS 和内网)、数据导入导出(按场景匹配工具:元数据用gs_dump/gs_restore、小批量数据用copy、文本格式用gsql元命令、分布式大批量用GDS,GDS 通过多 DN 并行导入导出突破...
- 2 GaussDB数据库性能调优 2.1 总结本文档围绕 GaussDB 数据库性能调优展开,核心涵盖系统级指标及性能调优、WDR 报告详解、SQL 优化三大模块:系统级指标通过三级指标体系(系统级:OS/CPU/ 内存 / 会话,对象级:库 / 表 / 索引 / 锁,应用级:事务 / SQL / 慢查询)及dbe_perf系列视图实现瓶颈定位;WDR 报告作为性能 “体检报告”... 2 GaussDB数据库性能调优 2.1 总结本文档围绕 GaussDB 数据库性能调优展开,核心涵盖系统级指标及性能调优、WDR 报告详解、SQL 优化三大模块:系统级指标通过三级指标体系(系统级:OS/CPU/ 内存 / 会话,对象级:库 / 表 / 索引 / 锁,应用级:事务 / SQL / 慢查询)及dbe_perf系列视图实现瓶颈定位;WDR 报告作为性能 “体检报告”...
- 1 1.1 总结本文档围绕 GaussDB 数据库操作与管理展开,核心涵盖数据库对象基本操作、数据字典、存储过程三大模块:数据库对象操作部分详细讲解了模式(逻辑分割对象)、用户(含三权分立权限控制)、表空间(默认 2 个系统表空间)、数据库(基于模板创建)、表(普通表分行存 / 列存、分区表支持 4 种分区方案)、索引(行存 B-Tree / 列存稀疏索引)、视图(含物化视图)、... 1 1.1 总结本文档围绕 GaussDB 数据库操作与管理展开,核心涵盖数据库对象基本操作、数据字典、存储过程三大模块:数据库对象操作部分详细讲解了模式(逻辑分割对象)、用户(含三权分立权限控制)、表空间(默认 2 个系统表空间)、数据库(基于模板创建)、表(普通表分行存 / 列存、分区表支持 4 种分区方案)、索引(行存 B-Tree / 列存稀疏索引)、视图(含物化视图)、...
- 1.1 总结本文档围绕 GaussDB 数据库开发设计展开,核心涵盖数据库对象命名和设计建议、表设计最佳实践、SQL 查询最佳实践三大模块:命名层面建议避免关键字、统一风格(如表名用下划线分隔,临时表前缀tmp_),Schema&Database 设计推荐用 Schema 做业务隔离、创建 Database 时选 UTF-8 编码及关注 4 种兼容模式;表设计需合理选择Hash/Repli... 1.1 总结本文档围绕 GaussDB 数据库开发设计展开,核心涵盖数据库对象命名和设计建议、表设计最佳实践、SQL 查询最佳实践三大模块:命名层面建议避免关键字、统一风格(如表名用下划线分隔,临时表前缀tmp_),Schema&Database 设计推荐用 Schema 做业务隔离、创建 Database 时选 UTF-8 编码及关注 4 种兼容模式;表设计需合理选择Hash/Repli...
- 1 GaussDB数据库介绍1.1 GaussDB 概述(一)产品定位GaussDB 是华为基于 openGauss 自研生态推出的企业级分布式关系型数据库,是鲲鹏生态中的主力场景之一,契合数据库云化、分布式、多模处理的未来趋势。其具备企业级复杂事务混合负载能力,支持分布式事务强一致、同城跨 AZ 部署、数据 0 丢失,可提供 1000 + 计算节点扩展能力与 4PB 海量存储,同... 1 GaussDB数据库介绍1.1 GaussDB 概述(一)产品定位GaussDB 是华为基于 openGauss 自研生态推出的企业级分布式关系型数据库,是鲲鹏生态中的主力场景之一,契合数据库云化、分布式、多模处理的未来趋势。其具备企业级复杂事务混合负载能力,支持分布式事务强一致、同城跨 AZ 部署、数据 0 丢失,可提供 1000 + 计算节点扩展能力与 4PB 海量存储,同...
- LBA-ECO ND-30 Nutrient Analysis and Gas Fluxes, Forest Chronosequences, Para, Brazil简介本数据集提供了巴西帕拉州圣弗朗西斯科杜帕拉和卡皮唐波科两地建立的年代序列中采集的凋落物质量和养分浓度的精细数据。圣弗朗西斯科杜帕拉凋落物样本测定了氮(N)和磷(P)浓度,卡皮唐波科样本则报告了氮、磷、钾(K)、钙(Ca)... LBA-ECO ND-30 Nutrient Analysis and Gas Fluxes, Forest Chronosequences, Para, Brazil简介本数据集提供了巴西帕拉州圣弗朗西斯科杜帕拉和卡皮唐波科两地建立的年代序列中采集的凋落物质量和养分浓度的精细数据。圣弗朗西斯科杜帕拉凋落物样本测定了氮(N)和磷(P)浓度,卡皮唐波科样本则报告了氮、磷、钾(K)、钙(Ca)...
- 本文基于 ClickBench 数据集,展示了 Apache Doris 如何通过选择压缩算法、调整数据页大小与分桶数、优化编码策略以及改进数据排序来提升压缩效率。最终,相同数据集的压缩空间从 16.08 GB 降至 8.2 GB,压缩率提升 48.6%。通过合理的调整与优化,Doris 成功在保持查询性能的同时显著降低了存储成本。 本文基于 ClickBench 数据集,展示了 Apache Doris 如何通过选择压缩算法、调整数据页大小与分桶数、优化编码策略以及改进数据排序来提升压缩效率。最终,相同数据集的压缩空间从 16.08 GB 降至 8.2 GB,压缩率提升 48.6%。通过合理的调整与优化,Doris 成功在保持查询性能的同时显著降低了存储成本。
- LBA-ECO ND-11 Pre-harvest Forest Tree and Liana Biomass, NW Mato Grosso, Brazil: 2003简介摘要代码!pip install leafmap!pip install pandas!pip install folium!pip install matplotlib!pip install mapclassif... LBA-ECO ND-11 Pre-harvest Forest Tree and Liana Biomass, NW Mato Grosso, Brazil: 2003简介摘要代码!pip install leafmap!pip install pandas!pip install folium!pip install matplotlib!pip install mapclassif...
- LBA-ECO ND-11 河流碳和营养物质,巴西马托格罗索州:2003-2006 年简介本数据集包含亚马逊季节性干旱地区四条源头溪流的基流水体 pH 值、电导率、碱性阳离子、碳(溶解性有机碳(DOC)、颗粒性有机碳(POC)和碳酸氢盐碱度)以及二氧化硅的浓度数据(Johnson 等,2006a;Johnson 等,2006b)。数据以逗号分隔的 ASCII 文件形式提供。这项针对四个源头流... LBA-ECO ND-11 河流碳和营养物质,巴西马托格罗索州:2003-2006 年简介本数据集包含亚马逊季节性干旱地区四条源头溪流的基流水体 pH 值、电导率、碱性阳离子、碳(溶解性有机碳(DOC)、颗粒性有机碳(POC)和碳酸氢盐碱度)以及二氧化硅的浓度数据(Johnson 等,2006a;Johnson 等,2006b)。数据以逗号分隔的 ASCII 文件形式提供。这项针对四个源头流...
- 在如 Snowflake、ElasticSearch、ClickHouse.... 等传统系统中,对于 JSON 的处理往往面临灵活性及性能无法兼得的困境,而 Apache Doris 的 VARIANT 类型,通过动态子列、稀疏列存储、延迟物化和路径索引等能力,实现了灵活结构 + 列存性能的平衡。本文将对该能力的实现一一讲解,全面展示其优势。 在如 Snowflake、ElasticSearch、ClickHouse.... 等传统系统中,对于 JSON 的处理往往面临灵活性及性能无法兼得的困境,而 Apache Doris 的 VARIANT 类型,通过动态子列、稀疏列存储、延迟物化和路径索引等能力,实现了灵活结构 + 列存性能的平衡。本文将对该能力的实现一一讲解,全面展示其优势。
上滑加载中
推荐直播
-
Skill 构建 × 智能创作:基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟,华为云软件研发工程师/万邵业(万少),华为云HCDE开发者专家
本次直播带来两大实战:华为云码道 Skill-Creator 手把手搭建专属知识库 Skill;如何用码道提效 OpenClaw 小说文本,打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路,一次讲透!
回顾中 -
码道新技能,AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动,聚焦两大 AI 开发场景:通过实战教学,带你打造 AI 编程自动生成视频 Skill,并实现对 GitHub 热门开源项目的智能知识抽取,手把手掌握 Skill 开发全流程,用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道:零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据,采用Transformer算法进行时序预测与涨跌分析,并集成DeepSeek API提供智能解读。同时,项目深度结合华为云CodeArts(码道)的代码智能体能力,实现代码一键推送至云端代码仓库,建立起高效、可协作的团队开发新范式。开发者可快速上手,从零打造功能完整的个股筛选、智能分析与风险管控产品。
回顾中
热门标签