- 使用CDC工具进行数据实时同步时，若源库为主备并存场景，则目的端需要识别同步数据来自于主库还是备库，并加以分类处理，否则目的库中数据会出现与源端数据不一致的情况，本文介绍了一种解决此问题的方案。 使用CDC工具进行数据实时同步时，若源库为主备并存场景，则目的端需要识别同步数据来自于主库还是备库，并加以分类处理，否则目的库中数据会出现与源端数据不一致的情况，本文介绍了一种解决此问题的方案。
- 6月3日至4日，华为智慧既然弄峰会2021在上海成功举办，华为云FusionInsight总经理携手工商银行、北明软件等客户与伙伴，共同分享金融数据平台建设之道。同时，华为云FusionInsight联合伙伴，发布了一系列云原生2.0金融大数据解决方案，发展共创共享共赢的金融生态。 6月3日至4日，华为智慧既然弄峰会2021在上海成功举办，华为云FusionInsight总经理携手工商银行、北明软件等客户与伙伴，共同分享金融数据平台建设之道。同时，华为云FusionInsight联合伙伴，发布了一系列云原生2.0金融大数据解决方案，发展共创共享共赢的金融生态。
- Hetu Hetu
- hudi的索引分为三部分：1、索引的数据结构2、索引的写入3、索引的使用1、索引的数据结构hudi的bloomfilter使用的是hadoop的bloomfilter实现，hadoop bloomFilter需要配置每个过滤器（单个文件的过滤器）包含的数据量（hoodie.index.bloom.num_entries， 默认60000），因此，当单文件数据量较大时，存在较大的错误率。在此基... hudi的索引分为三部分：1、索引的数据结构2、索引的写入3、索引的使用1、索引的数据结构hudi的bloomfilter使用的是hadoop的bloomfilter实现，hadoop bloomFilter需要配置每个过滤器（单个文件的过滤器）包含的数据量（hoodie.index.bloom.num_entries， 默认60000），因此，当单文件数据量较大时，存在较大的错误率。在此基...
- Spark dataSourceV1查询hudi表：MOR表读流程：MOR表的读包括3个分支：1）普通MOR表读；2）clustering数据读；3）compaction时读；4）metatable表读；5）hive inputFormat读最终读接口为：\Hudi_Kernel\hudi-common\src\main\java\org\apache\hudi\common\table\l... Spark dataSourceV1查询hudi表：MOR表读流程：MOR表的读包括3个分支：1）普通MOR表读；2）clustering数据读；3）compaction时读；4）metatable表读；5）hive inputFormat读最终读接口为：\Hudi_Kernel\hudi-common\src\main\java\org\apache\hudi\common\table\l...
- 时空大数据是智慧系列应用（智慧交通，智慧水利，智慧农业，智慧气象，智慧楼宇，智慧园区，乃至于更广泛意义上的智慧城市）中的关键技术。本文讲述时空大数据的场景、业界现状、华为目前的实践、在智慧城市系列中时空大数据遇到的问题和挑战。 时空大数据是智慧系列应用（智慧交通，智慧水利，智慧农业，智慧气象，智慧楼宇，智慧园区，乃至于更广泛意义上的智慧城市）中的关键技术。本文讲述时空大数据的场景、业界现状、华为目前的实践、在智慧城市系列中时空大数据遇到的问题和挑战。
- 【Yarn日志归档流程】Yarn作业运行的过程中，container运行在各个nodemanager上面，会将作业中产生的日志归档在其运行的nodemanager节点的指定路径下。通过配置项：yarn.nodemanager.log-dirs进行配置。华为云MRS服务中，默认的路径为/srv/Bigdata/hadoop/data1/nm/containerlogs中。如果开启了日志归集特性... 【Yarn日志归档流程】Yarn作业运行的过程中，container运行在各个nodemanager上面，会将作业中产生的日志归档在其运行的nodemanager节点的指定路径下。通过配置项：yarn.nodemanager.log-dirs进行配置。华为云MRS服务中，默认的路径为/srv/Bigdata/hadoop/data1/nm/containerlogs中。如果开启了日志归集特性...
- 1. kafka集群单个节点磁盘挂载的越多越好业界Kafka的标准使用方式是作为临时缓存使用。因此，很多人会误以为，kafka的每个节点只要存储够大就行，不用关心其他的指标。官方并不建议kafka单节点关在多个磁盘，因为磁盘越多，表示需要更多的处理线程去管理（num.io.thread决定），CPU的压力将非常大，如果磁盘数大于了CPU逻辑核数，kafka的CPU将因为非常繁忙导致数据落盘失... 1. kafka集群单个节点磁盘挂载的越多越好业界Kafka的标准使用方式是作为临时缓存使用。因此，很多人会误以为，kafka的每个节点只要存储够大就行，不用关心其他的指标。官方并不建议kafka单节点关在多个磁盘，因为磁盘越多，表示需要更多的处理线程去管理（num.io.thread决定），CPU的压力将非常大，如果磁盘数大于了CPU逻辑核数，kafka的CPU将因为非常繁忙导致数据落盘失...
- 一、 静态分区1.创建静态分区格式:create table employees ( name string, salary float, subordinated array<string>, deductions map<string,float>, address struct<street:string,city:string,state:string,zip:int> ) ... 一、 静态分区1.创建静态分区格式:create table employees ( name string, salary float, subordinated array<string>, deductions map<string,float>, address struct<street:string,city:string,state:string,zip:int> ) ...
- 对于grouping sets的操作获取的Grouping__id的值在hive-1.2.1前和hive-3.0后版本不同；Hive-1.2.1计算时根据group by指定的列的序列进行分组，凡是出现在grouping sets中的列，以二进制1标识，没有出现在grouping sets中的列以二级制0标识，按照锁得到的二进制数的反码计算grouping__id的值。Hive-3.1.... 对于grouping sets的操作获取的Grouping__id的值在hive-1.2.1前和hive-3.0后版本不同；Hive-1.2.1计算时根据group by指定的列的序列进行分组，凡是出现在grouping sets中的列，以二进制1标识，没有出现在grouping sets中的列以二级制0标识，按照锁得到的二进制数的反码计算grouping__id的值。Hive-3.1....
- Hadoop如何调整某一个类的日志级别 Hadoop如何调整某一个类的日志级别
- 【MRS】【Yarn】ResourceManager频繁主备倒换，导致Yarn上作业大量积压 【MRS】【Yarn】ResourceManager频繁主备倒换，导致Yarn上作业大量积压
- Kafka、SocketServer、RequestHandler、性能优化 Kafka、SocketServer、RequestHandler、性能优化
- 思迈特软件是知名国产BI品牌,专注于商业智能BI与大数据BI分析平台软件产业的研发及服务。本文介绍如何对接FusionInisght MRS hetu 思迈特软件是知名国产BI品牌,专注于商业智能BI与大数据BI分析平台软件产业的研发及服务。本文介绍如何对接FusionInisght MRS hetu
- 思迈特软件是知名国产BI品牌,专注于商业智能BI与大数据BI分析平台软件产业的研发及服务。本文介绍如何对接FusionInisght MRS hive 思迈特软件是知名国产BI品牌,专注于商业智能BI与大数据BI分析平台软件产业的研发及服务。本文介绍如何对接FusionInisght MRS hive
上滑加载中
推荐直播
-
让你的应用用上GaussDB2024/12/19 周四 16:30-18:00
Jerry 华为云生态技术讲师
GaussDB很受客户关注，伙伴们想知道什么时候该选用，开发者也跃跃欲试想尝鲜。课程会分享适用的场景，并一步步演示如何用上GaussDB。
回顾中 -
2024创原会年度技术峰会2024/12/20 周五 09:00-12:00
华为云讲师团
2024创原会年度技术峰会将于12月20日在海南万宁石梅湾威斯汀酒店举办，本次大会将以“智能・进化”为主题探讨从Cloud Native到AI Native的新阶段企业如何通过AI技术重塑企业应用，围绕AI如何在千行万业落地进行深入交流，探索可以先行先试先成功的创新场景和实现路径。
即将直播 -
华为云开发者日·2024年度创享峰会2024/12/23 周一 14:00-16:00
华为云讲师团
华为云开发者日HDC.Cloud Day是面向全球开发者的旗舰活动，汇聚来自千行百业、高校及科研院所的开发人员。致力于打造开发者专属的技术盛宴，全方位服务与赋能开发者围绕华为云生态“知、学、用、创、商”的成长路径。通过前沿的技术分享、场景化的动手体验、优秀的应用创新推介，为开发者提供沉浸式学习与交流平台。开放创新，与开发者共创、共享、共赢未来。
去报名
热门标签