- 1、建表语句：建表语句可以参考下图所示，可以用默认参数建表或者设置某些属性（例如：VERSIONS、TTL），另外建表时候可以预分Region（比如设置SPLITS等）。Create a table with namespace=ns1 and table qualifier=t1 hbase> create 'ns1:t1', {NAME => 'f1', VERSIONS => 5}C... 1、建表语句：建表语句可以参考下图所示，可以用默认参数建表或者设置某些属性（例如：VERSIONS、TTL），另外建表时候可以预分Region（比如设置SPLITS等）。Create a table with namespace=ns1 and table qualifier=t1 hbase> create 'ns1:t1', {NAME => 'f1', VERSIONS => 5}C...
- DistCp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。 DistCp（分布式拷贝）是用于大规模集群内部和集群之间拷贝的工具。 它使用Map/Reduce实现文件分发，错误处理和恢复，以及报告生成。 它把文件和目录的列表作为map任务的输入，每个任务会完成源列表中部分文件的拷贝。
- 背景：HetuEngine的字符串是用单引号包裹的，当进行字符串的处理，经常会碰到一些特殊字符，比如换行符、制表符、单引号等，本文将举例说明这些场景的处理方式。1.字符串中包含单引号，可以使用单引号对其转义，例如，查询字符串HetuEngine's syntax:hetuengine:default> select 'HetuEngine''s syntax'; _col0 ... 背景：HetuEngine的字符串是用单引号包裹的，当进行字符串的处理，经常会碰到一些特殊字符，比如换行符、制表符、单引号等，本文将举例说明这些场景的处理方式。1.字符串中包含单引号，可以使用单引号对其转义，例如，查询字符串HetuEngine's syntax:hetuengine:default> select 'HetuEngine''s syntax'; _col0 ...
- 后台使用JDBC连接远端集群执行sql实践；本文提供详细的思路和方法，工具请从内部资源获取，感谢理解 后台使用JDBC连接远端集群执行sql实践；本文提供详细的思路和方法，工具请从内部资源获取，感谢理解
- 思想，因为碰撞，在不断构建与崩塌中，逐渐凝练璀璨。不是专家，也不故作高人之姿。尘世迷途中的一个tester，和大家一人一个小马扎，做最朴素的讨论。该语言讨论，咱就语言讨论。作为网友，物理交流就留给元宇宙和脑机接口吧。 大家好，我是......(忽略)。本文为系列开篇文章，讨论一个问题。当你需要使用不熟悉的某个工具或平台来完成某项任务时，对应owner大概率会丢一个指导文档给你。 思想，因为碰撞，在不断构建与崩塌中，逐渐凝练璀璨。不是专家，也不故作高人之姿。尘世迷途中的一个tester，和大家一人一个小马扎，做最朴素的讨论。该语言讨论，咱就语言讨论。作为网友，物理交流就留给元宇宙和脑机接口吧。 大家好，我是......(忽略)。本文为系列开篇文章，讨论一个问题。当你需要使用不熟悉的某个工具或平台来完成某项任务时，对应owner大概率会丢一个指导文档给你。
- Oracle关联更新SQL语句优化 Oracle关联更新SQL语句优化
- JavaPairRDD的context方法讲解 官方文档/** * Approximate version of count() that returns a potentially incomplete result * within a timeout, even if not all tasks have finished. * * The confidence is... JavaPairRDD的context方法讲解 官方文档/** * Approximate version of count() that returns a potentially incomplete result * within a timeout, even if not all tasks have finished. * * The confidence is...
- JavaPairRDD的flatMap方法讲解 官方文档/** * Return a new RDD by first applying a function to all elements of this * RDD, and then flattening the results. */ 说明首先将一个函数应用于该函数的所有元素，从而返回一个新的RDD然后将结果展平。 ... JavaPairRDD的flatMap方法讲解 官方文档/** * Return a new RDD by first applying a function to all elements of this * RDD, and then flattening the results. */ 说明首先将一个函数应用于该函数的所有元素，从而返回一个新的RDD然后将结果展平。 ...
- 【简介】HDFS集群通常在使用过程中，文件对象数会越来越多，直到达到NameNode能够支撑的容量，并且小文件过多也会导致DataNode块存储过多，导致DataNode性能下降，本篇文章主要是讲解通过fsimage离线分析整个hdfs目录小文件分布情况，这种分析能最大程度减少对NameNode的压力。fsImage介绍fsimage包含最新的元数据检查点，在HDFS启动时加载fsimage... 【简介】HDFS集群通常在使用过程中，文件对象数会越来越多，直到达到NameNode能够支撑的容量，并且小文件过多也会导致DataNode块存储过多，导致DataNode性能下降，本篇文章主要是讲解通过fsimage离线分析整个hdfs目录小文件分布情况，这种分析能最大程度减少对NameNode的压力。fsImage介绍fsimage包含最新的元数据检查点，在HDFS启动时加载fsimage...
- 每台虚拟机的系统盘磁盘空间很小，务必要把数据盘格式化挂载使用，防止系统盘被写爆。建议分为两个分区/opt和/srv/BigData其中：/opt: 程序安装目录，/srv/BigData数据目录操作步骤：1. 执行fdisk -l查询磁盘列表2. 执行fdisk /dev/vdb进入磁盘3. 依次执行如下命令，创建两个磁盘分区，建议/opt分区150GB，其余给/srv/BigData，命令... 每台虚拟机的系统盘磁盘空间很小，务必要把数据盘格式化挂载使用，防止系统盘被写爆。建议分为两个分区/opt和/srv/BigData其中：/opt: 程序安装目录，/srv/BigData数据目录操作步骤：1. 执行fdisk -l查询磁盘列表2. 执行fdisk /dev/vdb进入磁盘3. 依次执行如下命令，创建两个磁盘分区，建议/opt分区150GB，其余给/srv/BigData，命令...
- · mor表upsert， 第一次纯新增数据第二次纯更新数据，两次消费速率基本一致。 用例设计有问题，数据量过小体现不出差异，正常mor表在跟新时速度快于cow表。· 控制spark streaming每次消费数据量 设置参数conf.set("spark.streaming.kafka.maxRatePerPartition",maxRatePerPartition);c... · mor表upsert， 第一次纯新增数据第二次纯更新数据，两次消费速率基本一致。 用例设计有问题，数据量过小体现不出差异，正常mor表在跟新时速度快于cow表。· 控制spark streaming每次消费数据量 设置参数conf.set("spark.streaming.kafka.maxRatePerPartition",maxRatePerPartition);c...
- Hive列统计信息Hive的列统计信息记录了Hive表字段的元信息，根据字段类型的不同，统计的元信息也是稍有差异的。本文讲述两种常用的字段类型，int和string。int类型有4个统计信息，分别是：min、max、num_nulls、distinct_count；string类型也有4个统计信息，分别是： num_nulls、distinct_count、avg_col_len、max_c... Hive列统计信息Hive的列统计信息记录了Hive表字段的元信息，根据字段类型的不同，统计的元信息也是稍有差异的。本文讲述两种常用的字段类型，int和string。int类型有4个统计信息，分别是：min、max、num_nulls、distinct_count；string类型也有4个统计信息，分别是： num_nulls、distinct_count、avg_col_len、max_c...
- 故障现象集群监控信息，页面无数据显示。优先级低故障影响无法显示监控数据。可能原因controller的配置*.apigateway 未配置，导致新下发的集群缺少InitDms.json 老版本升级时，checklist中不部署dms-agent或者注册apigateway失败都会导致页面无数据预计处理时长2h处理思路老版本升级时，checklist中不部署dms-agent或者注册apiga... 故障现象集群监控信息，页面无数据显示。优先级低故障影响无法显示监控数据。可能原因controller的配置*.apigateway 未配置，导致新下发的集群缺少InitDms.json 老版本升级时，checklist中不部署dms-agent或者注册apigateway失败都会导致页面无数据预计处理时长2h处理思路老版本升级时，checklist中不部署dms-agent或者注册apiga...
- Loader是在开源Sqoop组件的基础上进行了一些扩展，实现MRS与关系型数据库、文件系统之间交换“数据”、“文件”，同时也可以将数据从关系型数据库或者文件服务器导入到HDFS/HBase中，或者反过来从HDFS/HBase导出到关系型数据库或者文件服务器中。 Loader是在开源Sqoop组件的基础上进行了一些扩展，实现MRS与关系型数据库、文件系统之间交换“数据”、“文件”，同时也可以将数据从关系型数据库或者文件服务器导入到HDFS/HBase中，或者反过来从HDFS/HBase导出到关系型数据库或者文件服务器中。
- Power BI工具对接HetuEngine1 适用版本MRS 811、MRS 8122 预制条件MRS集群各组件运行正常。Power BI工具包（exe）已下载至本地，软件下载地址：https://powerbi.microsoft.com/zh-cn/getting-started-with-power-bi/ 下载连接HetuEngine驱动包，下载地址：https... Power BI工具对接HetuEngine1 适用版本MRS 811、MRS 8122 预制条件MRS集群各组件运行正常。Power BI工具包（exe）已下载至本地，软件下载地址：https://powerbi.microsoft.com/zh-cn/getting-started-with-power-bi/ 下载连接HetuEngine驱动包，下载地址：https...
上滑加载中
推荐直播
-
探秘仓颉编程语言：华为开发者空间的创新利器2025/02/22 周六 15:00-16:30
华为云讲师团
本期直播将与您一起探秘颉编程语言上线华为开发者空间后，显著提升开发效率，在智能化开发支持、全场景跨平台适配能力、工具链与生态完备性、语言简洁与高性能特性等方面展现出的独特优势。直播看点： 1.java转仓颉的小工具 2.仓颉动画三方库lottie 3.开发者空间介绍及如何在空间用仓颉编程语言开发
回顾中 -
大模型Prompt工程深度实践2025/02/24 周一 16:00-17:30
盖伦 华为云学堂技术讲师
如何让大模型精准理解开发需求并生成可靠输出？本期直播聚焦大模型Prompt工程核心技术：理解大模型推理基础原理，关键采样参数定义，提示词撰写关键策略及Prompt工程技巧分享。
去报名 -
华为云 x DeepSeek：AI驱动云上应用创新2025/02/26 周三 16:00-18:00
华为云 AI专家大咖团
在 AI 技术飞速发展之际，DeepSeek 备受关注。它凭借哪些技术与理念脱颖而出？华为云与 DeepSeek 合作，将如何重塑产品与应用模式，助力企业数字化转型？在华为开发者空间，怎样高效部署 DeepSeek，搭建专属服务器？基于华为云平台，又该如何挖掘 DeepSeek 潜力，实现智能化升级？本期直播围绕DeepSeek在云上的应用案例，与DTSE布道师们一起探讨如何利用AI 驱动云上应用创新。
去报名
热门标签