- 1、建表语句：建表语句可以参考下图所示，可以用默认参数建表或者设置某些属性（例如：VERSIONS、TTL），另外建表时候可以预分Region（比如设置SPLITS等）。Create a table with namespace=ns1 and table qualifier=t1 hbase> create 'ns1:t1', {NAME => 'f1', VERSIONS => 5}C... 1、建表语句：建表语句可以参考下图所示，可以用默认参数建表或者设置某些属性（例如：VERSIONS、TTL），另外建表时候可以预分Region（比如设置SPLITS等）。Create a table with namespace=ns1 and table qualifier=t1 hbase> create 'ns1:t1', {NAME => 'f1', VERSIONS => 5}C...
- 背景：HetuEngine的字符串是用单引号包裹的，当进行字符串的处理，经常会碰到一些特殊字符，比如换行符、制表符、单引号等，本文将举例说明这些场景的处理方式。1.字符串中包含单引号，可以使用单引号对其转义，例如，查询字符串HetuEngine's syntax:hetuengine:default> select 'HetuEngine''s syntax'; _col0 ... 背景：HetuEngine的字符串是用单引号包裹的，当进行字符串的处理，经常会碰到一些特殊字符，比如换行符、制表符、单引号等，本文将举例说明这些场景的处理方式。1.字符串中包含单引号，可以使用单引号对其转义，例如，查询字符串HetuEngine's syntax:hetuengine:default> select 'HetuEngine''s syntax'; _col0 ...
- 解决华为云大数据平台ARM架构的MRS集群在非华为欧拉操作系统中使用客户端的问题 作者第一发布于公众号：大数据架构之道，欢迎关注交流 解决华为云大数据平台ARM架构的MRS集群在非华为欧拉操作系统中使用客户端的问题 作者第一发布于公众号：大数据架构之道，欢迎关注交流
- 【简介】HDFS集群通常在使用过程中，文件对象数会越来越多，直到达到NameNode能够支撑的容量，并且小文件过多也会导致DataNode块存储过多，导致DataNode性能下降，本篇文章主要是讲解通过fsimage离线分析整个hdfs目录小文件分布情况，这种分析能最大程度减少对NameNode的压力。fsImage介绍fsimage包含最新的元数据检查点，在HDFS启动时加载fsimage... 【简介】HDFS集群通常在使用过程中，文件对象数会越来越多，直到达到NameNode能够支撑的容量，并且小文件过多也会导致DataNode块存储过多，导致DataNode性能下降，本篇文章主要是讲解通过fsimage离线分析整个hdfs目录小文件分布情况，这种分析能最大程度减少对NameNode的压力。fsImage介绍fsimage包含最新的元数据检查点，在HDFS启动时加载fsimage...
- 每台虚拟机的系统盘磁盘空间很小，务必要把数据盘格式化挂载使用，防止系统盘被写爆。建议分为两个分区/opt和/srv/BigData其中：/opt: 程序安装目录，/srv/BigData数据目录操作步骤：1. 执行fdisk -l查询磁盘列表2. 执行fdisk /dev/vdb进入磁盘3. 依次执行如下命令，创建两个磁盘分区，建议/opt分区150GB，其余给/srv/BigData，命令... 每台虚拟机的系统盘磁盘空间很小，务必要把数据盘格式化挂载使用，防止系统盘被写爆。建议分为两个分区/opt和/srv/BigData其中：/opt: 程序安装目录，/srv/BigData数据目录操作步骤：1. 执行fdisk -l查询磁盘列表2. 执行fdisk /dev/vdb进入磁盘3. 依次执行如下命令，创建两个磁盘分区，建议/opt分区150GB，其余给/srv/BigData，命令...
- · mor表upsert， 第一次纯新增数据第二次纯更新数据，两次消费速率基本一致。 用例设计有问题，数据量过小体现不出差异，正常mor表在跟新时速度快于cow表。· 控制spark streaming每次消费数据量 设置参数conf.set("spark.streaming.kafka.maxRatePerPartition",maxRatePerPartition);c... · mor表upsert， 第一次纯新增数据第二次纯更新数据，两次消费速率基本一致。 用例设计有问题，数据量过小体现不出差异，正常mor表在跟新时速度快于cow表。· 控制spark streaming每次消费数据量 设置参数conf.set("spark.streaming.kafka.maxRatePerPartition",maxRatePerPartition);c...
- Hive列统计信息Hive的列统计信息记录了Hive表字段的元信息，根据字段类型的不同，统计的元信息也是稍有差异的。本文讲述两种常用的字段类型，int和string。int类型有4个统计信息，分别是：min、max、num_nulls、distinct_count；string类型也有4个统计信息，分别是： num_nulls、distinct_count、avg_col_len、max_c... Hive列统计信息Hive的列统计信息记录了Hive表字段的元信息，根据字段类型的不同，统计的元信息也是稍有差异的。本文讲述两种常用的字段类型，int和string。int类型有4个统计信息，分别是：min、max、num_nulls、distinct_count；string类型也有4个统计信息，分别是： num_nulls、distinct_count、avg_col_len、max_c...
- Loader是在开源Sqoop组件的基础上进行了一些扩展，实现MRS与关系型数据库、文件系统之间交换“数据”、“文件”，同时也可以将数据从关系型数据库或者文件服务器导入到HDFS/HBase中，或者反过来从HDFS/HBase导出到关系型数据库或者文件服务器中。 Loader是在开源Sqoop组件的基础上进行了一些扩展，实现MRS与关系型数据库、文件系统之间交换“数据”、“文件”，同时也可以将数据从关系型数据库或者文件服务器导入到HDFS/HBase中，或者反过来从HDFS/HBase导出到关系型数据库或者文件服务器中。
- Power BI工具对接HetuEngine1 适用版本MRS 811、MRS 8122 预制条件MRS集群各组件运行正常。Power BI工具包（exe）已下载至本地，软件下载地址：https://powerbi.microsoft.com/zh-cn/getting-started-with-power-bi/ 下载连接HetuEngine驱动包，下载地址：https... Power BI工具对接HetuEngine1 适用版本MRS 811、MRS 8122 预制条件MRS集群各组件运行正常。Power BI工具包（exe）已下载至本地，软件下载地址：https://powerbi.microsoft.com/zh-cn/getting-started-with-power-bi/ 下载连接HetuEngine驱动包，下载地址：https...
- Clickhouse 副本节点之间通过Zookeeper 的log数据和其他控制信息，实现了副本间数据的异步同步。本文中简单介绍插入数据后副本之间同步流程。 Clickhouse 副本节点之间通过Zookeeper 的log数据和其他控制信息，实现了副本间数据的异步同步。本文中简单介绍插入数据后副本之间同步流程。
- 说明 在HCS场景下，MRS安装部署依赖自动化安装框架HCSD，本文档介绍了通过HCSD安装MRS管理面的步骤和操作说明。操作准备已安装配套的HCSD工具并以获取相关信息；已按照软件包下载列表下载配套的MRS软件包并上传至HCSD工具指定路径/home/pkg路径下；已获取环境配套版本账号一览表；操作步骤使用admin账号密码登录HCSD前台页面；在页眉处单击“工程管理 -- 工程列表”进... 说明 在HCS场景下，MRS安装部署依赖自动化安装框架HCSD，本文档介绍了通过HCSD安装MRS管理面的步骤和操作说明。操作准备已安装配套的HCSD工具并以获取相关信息；已按照软件包下载列表下载配套的MRS软件包并上传至HCSD工具指定路径/home/pkg路径下；已获取环境配套版本账号一览表；操作步骤使用admin账号密码登录HCSD前台页面；在页眉处单击“工程管理 -- 工程列表”进...
- 在MRS集群使用过程中，业务场景的变化往往需要部署新的服务来满足业务侧的需求。为了能灵活调整已有集群部署的服务，MRS提供了添加、删除服务的能力。 在MRS集群使用过程中，业务场景的变化往往需要部署新的服务来满足业务侧的需求。为了能灵活调整已有集群部署的服务，MRS提供了添加、删除服务的能力。
- 在MRS集群使用过程中，存在单AZ至多AZ集群手动改造、节点硬件故障更换等使用需求场景，固MRS管理侧提供对主机进行跨AZ重装的能力支撑。 在MRS集群使用过程中，存在单AZ至多AZ集群手动改造、节点硬件故障更换等使用需求场景，固MRS管理侧提供对主机进行跨AZ重装的能力支撑。
- 日常巡检的目的是减少系统隐患，确保系统能够长期安全、稳定、可靠地运行，降低维护成本，确保系统进行正常的业务处理。华为云Stack的日常巡检，以检查告警、使用FusionCare工具巡检为主。 日常巡检的目的是减少系统隐患，确保系统能够长期安全、稳定、可靠地运行，降低维护成本，确保系统进行正常的业务处理。华为云Stack的日常巡检，以检查告警、使用FusionCare工具巡检为主。
- FusionInsight HetuEngine访问HSConsole的样例代码 FusionInsight HetuEngine访问HSConsole的样例代码
上滑加载中
推荐直播
-
openEuler Summit 20242024/11/16 周六 09:30-12:00
华为讲师团
2024年11月15日-16日，我们将在北京中关村国际创新中心举办 操作系统大会＆openEuler Summit 2024，本次大会旨在汇聚全球产业发展力量，邀请思想引领者、商业精英、技术专家、合作伙伴以及全球开源基金会等业界同仁，共同探讨操作系统产业发展方向和未来机遇，联合伙伴展示最新合作成果，分享数字化转型实践，以技术驱动创新不断激发新质生产力。
回顾中 -
华为云AI入门课：AI发展趋势与华为愿景2024/11/18 周一 18:20-20:20
Alex 华为云学堂技术讲师
本期直播旨在帮助开发者熟悉理解AI技术概念，AI发展趋势，AI实用化前景，了解熟悉未来主要技术栈，当前发展瓶颈等行业化知识。帮助开发者在AI领域快速构建知识体系，构建职业竞争力。
去报名 -
华为云软件开发生产线（CodeArts）10月新特性解读2024/11/19 周二 19:00-20:00
苏柏亚培 华为云高级产品经理
不知道产品的最新特性？没法和产品团队建立直接的沟通？本期直播产品经理将为您解读华为云软件开发生产线10月发布的新特性，并在直播过程中为您答疑解惑。
去报名
热门标签