- 面对日增 3 亿行、万亿规模存量广告数据，快手广告数据平台如何突破性能瓶颈、实现架构统一与体验跃升？ 快手引入 Apache Doris 替换 ClickHouse、Elasticsearch，从分散存储到统一分析，实现查询性能提升 20～90%，单表写入吞吐 300 万行/秒，存储效率提升 60%！ 面对日增 3 亿行、万亿规模存量广告数据，快手广告数据平台如何突破性能瓶颈、实现架构统一与体验跃升？ 快手引入 Apache Doris 替换 ClickHouse、Elasticsearch，从分散存储到统一分析，实现查询性能提升 20～90%，单表写入吞吐 300 万行/秒，存储效率提升 60%！
- 别把数据迁移当复制粘贴：一线人踩坑总结的云上 / 跨云迁移实战指南 别把数据迁移当复制粘贴：一线人踩坑总结的云上 / 跨云迁移实战指南
- BigQuery数据迁移至华为DWS数仓 1. 前言 2. 准备工作 3. 将BigQuery的数据导出到Cloud Storage 3.1 DDL导出 3.2 数据导出 3.3 验证导出 4. 将Cloud Storage上的数据同步到华为云OBS 5. 创建用于装载数据的目标表 6. 将OBS数据导入DWS数仓 ... BigQuery数据迁移至华为DWS数仓 1. 前言 2. 准备工作 3. 将BigQuery的数据导出到Cloud Storage 3.1 DDL导出 3.2 数据导出 3.3 验证导出 4. 将Cloud Storage上的数据同步到华为云OBS 5. 创建用于装载数据的目标表 6. 将OBS数据导入DWS数仓 ...
- NineData社区版V4.7.0正式发布，在数据复制与对比功能方面，新增6条链路，均支持结构复制、全量 / 增量同步与数据对比；在数据库DevOps方面， 新增6种谷歌云数据源类型，涵盖Cloud SQL系列、AlloyDB for PostgreSQL等。 NineData社区版V4.7.0正式发布，在数据复制与对比功能方面，新增6条链路，均支持结构复制、全量 / 增量同步与数据对比；在数据库DevOps方面， 新增6种谷歌云数据源类型，涵盖Cloud SQL系列、AlloyDB for PostgreSQL等。
- 本文聚焦企业级时序数据监控平台优化，针对InfluxDB单节点在2500台设备、2亿条日均数据下的查询超时、存储成本失控、降采样数据丢失、多维度查询卡顿等问题，提出“分层存储+预计算降采样+索引重构”方案。按数据热度分热（7天内，Redis+SSD）、温（7-90天，SSD）、冷（90天以上，OSS）三层存储，搭配生命周期管理服务实现数据流转； 本文聚焦企业级时序数据监控平台优化，针对InfluxDB单节点在2500台设备、2亿条日均数据下的查询超时、存储成本失控、降采样数据丢失、多维度查询卡顿等问题，提出“分层存储+预计算降采样+索引重构”方案。按数据热度分热（7天内，Redis+SSD）、温（7-90天，SSD）、冷（90天以上，OSS）三层存储，搭配生命周期管理服务实现数据流转；
- 引言随着企业数字化转型的加速，越来越多的企业选择采用混合云或多云架构来满足其多样化的需求。华为云凭借其强大的技术实力和丰富的实践经验，推出了全面的混合云解决方案，涵盖多云管理、云迁移、云集成以及跨云应用等多个方面。本文将详细介绍华为混合云的优势及其在实际应用中的价值。 一、华为混合云解决方案概述 1. 定义华为混合云解决方案是指将公有云、私有云和本地数据中心整合在一起，形成一个统一的云环... 引言随着企业数字化转型的加速，越来越多的企业选择采用混合云或多云架构来满足其多样化的需求。华为云凭借其强大的技术实力和丰富的实践经验，推出了全面的混合云解决方案，涵盖多云管理、云迁移、云集成以及跨云应用等多个方面。本文将详细介绍华为混合云的优势及其在实际应用中的价值。 一、华为混合云解决方案概述 1. 定义华为混合云解决方案是指将公有云、私有云和本地数据中心整合在一起，形成一个统一的云环...
- 由于云上的redis数据，你不知道宿主机的地址，而且云上的redis也可能是集群模式的，无法通过简单的整个RDB文件替换的方式迁移redis数据。而且云上的redis也可能还有其他的数据，不能随便替换其底层的RDB文件。因此，本地数据迁移到华为云，复制RDB这条路不可走。后面，我使用了客户端工具来做迁移，没想到导入和导出的效果这么高，几十万条数据，几分钟就完成了。我使用了yunedit 由于云上的redis数据，你不知道宿主机的地址，而且云上的redis也可能是集群模式的，无法通过简单的整个RDB文件替换的方式迁移redis数据。而且云上的redis也可能还有其他的数据，不能随便替换其底层的RDB文件。因此，本地数据迁移到华为云，复制RDB这条路不可走。后面，我使用了客户端工具来做迁移，没想到导入和导出的效果这么高，几十万条数据，几分钟就完成了。我使用了yunedit
- 某国际建材集团选择万博智云HyperMotion云迁移完成超远距离跨洲际迁移上华为云。 某国际建材集团选择万博智云HyperMotion云迁移完成超远距离跨洲际迁移上华为云。
- 某证券机构基于华为云Stack搭建金融云平台，加速信创布局 某证券机构基于华为云Stack搭建金融云平台，加速信创布局
- 墨西哥某政府部门3个月完成2000+虚机迁移迁移上HCS 墨西哥某政府部门3个月完成2000+虚机迁移迁移上HCS
- 设计数据迁移过程中的数据校验策略需兼顾准确性、效率、可扩展性，确保源数据与目标数据在逻辑和业务规则上完全匹配。以下是一个系统化的设计框架，涵盖校验目标、方法、工具、流程及优化方向： 一、明确校验目标与范围 1. 一致性级别定义强一致性：关键业务数据（如订单金额、用户余额）必须实时完全一致。最终一致性：非实时数据（如日志、历史记录）可接受短暂延迟，但需在迁移后规定时间内同步。近似一致性：大规模... 设计数据迁移过程中的数据校验策略需兼顾准确性、效率、可扩展性，确保源数据与目标数据在逻辑和业务规则上完全匹配。以下是一个系统化的设计框架，涵盖校验目标、方法、工具、流程及优化方向： 一、明确校验目标与范围 1. 一致性级别定义强一致性：关键业务数据（如订单金额、用户余额）必须实时完全一致。最终一致性：非实时数据（如日志、历史记录）可接受短暂延迟，但需在迁移后规定时间内同步。近似一致性：大规模...
- 在数据迁移过程中，数据一致性是确保源数据和目标数据在逻辑和业务规则上完全匹配的核心目标。若数据不一致，可能导致业务系统错误、数据分析偏差甚至合规风险。以下是保障数据一致性的系统性方案，涵盖技术、流程和验证方法： 一、迁移前的一致性规划 1. 明确一致性范围业务规则定义：确定哪些数据需严格一致（如订单金额、用户余额），哪些可接受最终一致（如日志数据）。数据模型对齐：检查源和目标系统的表结构、字... 在数据迁移过程中，数据一致性是确保源数据和目标数据在逻辑和业务规则上完全匹配的核心目标。若数据不一致，可能导致业务系统错误、数据分析偏差甚至合规风险。以下是保障数据一致性的系统性方案，涵盖技术、流程和验证方法： 一、迁移前的一致性规划 1. 明确一致性范围业务规则定义：确定哪些数据需严格一致（如订单金额、用户余额），哪些可接受最终一致（如日志数据）。数据模型对齐：检查源和目标系统的表结构、字...
- 在数据迁移过程中，数据安全是核心需求之一，涉及数据的保密性、完整性、可用性以及合规性。以下是保障数据安全的关键措施和最佳实践，涵盖技术、管理和操作层面： 一、迁移前的安全准备 1. 数据分类与风险评估敏感数据识别：标记个人身份信息（PII）、财务数据、商业机密等，优先加密或脱敏。风险分析：评估迁移路径中的潜在威胁（如网络窃听、中间人攻击、权限滥用）。合规检查：确保符合 GDPR、等保2.0等... 在数据迁移过程中，数据安全是核心需求之一，涉及数据的保密性、完整性、可用性以及合规性。以下是保障数据安全的关键措施和最佳实践，涵盖技术、管理和操作层面： 一、迁移前的安全准备 1. 数据分类与风险评估敏感数据识别：标记个人身份信息（PII）、财务数据、商业机密等，优先加密或脱敏。风险分析：评估迁移路径中的潜在威胁（如网络窃听、中间人攻击、权限滥用）。合规检查：确保符合 GDPR、等保2.0等...
- 数据迁移的完成时间取决于多个因素，包括数据量、网络带宽、硬件性能、并发配置以及数据类型等。以下是具体的影响因素和估算方法，以及优化建议： 一、影响迁移时间的核心因素数据量大小百万级数据：几分钟到几十分钟千万级数据：几十分钟到数小时亿级及以上：数小时到数天示例：100万行 × 1KB/行 ≈ 1GB 数据若网络带宽为 100MB/s，理论最快需 10秒（实际可能更长，因涉及序列化、网络抖动等）... 数据迁移的完成时间取决于多个因素，包括数据量、网络带宽、硬件性能、并发配置以及数据类型等。以下是具体的影响因素和估算方法，以及优化建议： 一、影响迁移时间的核心因素数据量大小百万级数据：几分钟到几十分钟千万级数据：几十分钟到数小时亿级及以上：数小时到数天示例：100万行 × 1KB/行 ≈ 1GB 数据若网络带宽为 100MB/s，理论最快需 10秒（实际可能更长，因涉及序列化、网络抖动等）...
- SQLShift 作为一款多元异构数据库的 SQL 方言转换工具，在过去两个月，陆续支持了 Oracle 存储过程 ➝ OceanBase/PostgreSQL 的语法转换，本期让我们一起看看又有哪些新能力吧！ 新特性速览✔️ SQL Server 存储过程 ➝ GaussDB 函数重构：支持 T-SQL → PL/pgSQL 的智能转换，结构/语义全面适配。✔️ 批量转换能力：支持一次性转... SQLShift 作为一款多元异构数据库的 SQL 方言转换工具，在过去两个月，陆续支持了 Oracle 存储过程 ➝ OceanBase/PostgreSQL 的语法转换，本期让我们一起看看又有哪些新能力吧！ 新特性速览✔️ SQL Server 存储过程 ➝ GaussDB 函数重构：支持 T-SQL → PL/pgSQL 的智能转换，结构/语义全面适配。✔️ 批量转换能力：支持一次性转...
上滑加载中
推荐直播
-
华为云码道 × 仓颉编程：工程化AI编码探索2026/05/27 周三 19:00-21:00
刘俊杰-华为云仓颉语言专家/李炎-华为云码道技术专家/王智鹏-OpenCangjie开源社区发起人
本场直播围绕华为云仓颉语言与华为云码道的深度结合，展示华为云智能编程从零基础到高效落地的完整生态能力。以华为云码道为引擎，仓颉语言为载体，带给大家日常提效、趣味创新到极速量产的开发体验。
即将直播
热门标签