- 获取spark 或hadoop运行日志https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=103786#实现代码https://ld246.com/article/1588084878671 #获取日志https://blog.csdn.net/qq_37927069/article/details/108660347 获取spark 或hadoop运行日志https://bbs.huaweicloud.com/forum/forum.php?mod=viewthread&tid=103786#实现代码https://ld246.com/article/1588084878671 #获取日志https://blog.csdn.net/qq_37927069/article/details/108660347
- 在项目交付中经常会遇到各种异构数据库间的迁移替换，该场景重度依赖迁移工具完成同步。目前华为云上没有现成的数据迁移工具能够支持Clickhouse到GaussDB(DWS)的迁移，本文提供一种思路，通过Spark代码完成ClickHouse中表数据读取，并写入到GaussDB(DWS)中完成迁移。 在项目交付中经常会遇到各种异构数据库间的迁移替换，该场景重度依赖迁移工具完成同步。目前华为云上没有现成的数据迁移工具能够支持Clickhouse到GaussDB(DWS)的迁移，本文提供一种思路，通过Spark代码完成ClickHouse中表数据读取，并写入到GaussDB(DWS)中完成迁移。
- 在当今数字化时代，公司流量监控成为保障业务稳健运行的不可或缺的一环。本文将介绍如何使用Rust语言结合先进的技术，开发高性能的流量监控软件模块，以确保对大数据的高效处理。引言随着业务的不断发展，公司所面临的数据规模也在不断膨胀。为了更好地处理这些海量数据，我们选择了Rust作为开发语言，以其出色的性能和并发处理能力而著称。Rust语言与高性能Rust是一种系统级编程语言，其独特的所有权系统使... 在当今数字化时代，公司流量监控成为保障业务稳健运行的不可或缺的一环。本文将介绍如何使用Rust语言结合先进的技术，开发高性能的流量监控软件模块，以确保对大数据的高效处理。引言随着业务的不断发展，公司所面临的数据规模也在不断膨胀。为了更好地处理这些海量数据，我们选择了Rust作为开发语言，以其出色的性能和并发处理能力而著称。Rust语言与高性能Rust是一种系统级编程语言，其独特的所有权系统使...
- Spark Mlib建模流程 在Jupyter Notebook中导入pyspark、数据处理numpy等相关包import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport seaborn as snsimport sklearnimport osfrom pyspark.sql import Spar... Spark Mlib建模流程 在Jupyter Notebook中导入pyspark、数据处理numpy等相关包import numpy as npimport pandas as pdimport matplotlib.pyplot as pltimport seaborn as snsimport sklearnimport osfrom pyspark.sql import Spar...
- 1. 弹性分布式数据集RDD1.1. RDD概述1.1.1. 什么是RDDRDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，... 1. 弹性分布式数据集RDD1.1. RDD概述1.1.1. 什么是RDDRDD（Resilient Distributed Dataset）叫做分布式数据集，是Spark中最基本的数据抽象，它代表一个不可变、可分区、里面的元素可并行计算的集合。RDD具有数据流模型的特点：自动容错、位置感知性调度和可伸缩性。RDD允许用户在执行多个查询时显式地将工作集缓存在内存中，后续的查询能够重用工作集，...
- 本书摘自《企业级大数据平台构建：架构与实现》——书中第2章，2.5.7节，作者是朱凯。 本书摘自《企业级大数据平台构建：架构与实现》——书中第2章，2.5.7节，作者是朱凯。
- Spark / Flink 跑在 Kubernetes 上真的更香吗？聊聊那些没人提前告诉你的性能坑 Spark / Flink 跑在 Kubernetes 上真的更香吗？聊聊那些没人提前告诉你的性能坑
- 别再把 Spark / Dask 当“放大版 Pandas”了——聊聊大规模特征计算那些真能救命的技巧 别再把 Spark / Dask 当“放大版 Pandas”了——聊聊大规模特征计算那些真能救命的技巧
- 用户零等待指标交付，逻辑变更分钟级生效，无需 ETL；100%一致口径，所有人与 AI 通过同一语义层访问数据；无缝对接 AI，语义层为 AI 提供标准化查询 API。 用户零等待指标交付，逻辑变更分钟级生效，无需 ETL；100%一致口径，所有人与 AI 通过同一语义层访问数据；无缝对接 AI，语义层为 AI 提供标准化查询 API。
- Aloudata CAN 双引擎架构的推出和生产级验证，标志着 NoETL 指标平台这一自动化数据开发与治理的新品类已经具备了处理企业级核心、极端负载的成熟能力。面对千亿级数据，企业无需再为“算不动”而焦虑，也无需在“灵活性”与“稳定性”之间做艰难取舍。 Aloudata CAN 双引擎架构的推出和生产级验证，标志着 NoETL 指标平台这一自动化数据开发与治理的新品类已经具备了处理企业级核心、极端负载的成熟能力。面对千亿级数据，企业无需再为“算不动”而焦虑，也无需在“灵活性”与“稳定性”之间做艰难取舍。
- 别被“结构化”骗了：聊聊 Spark Structured Streaming 的原理与那些年我踩过的坑 别被“结构化”骗了：聊聊 Spark Structured Streaming 的原理与那些年我踩过的坑
- 数据慢半拍，问题可能不在“数据”：聊聊数据传播延迟的那些坑 数据慢半拍，问题可能不在“数据”：聊聊数据传播延迟的那些坑
- 作为全球首款基于NVIDIA Grace Blackwell架构的个人AI超级计算机，DGX Spark将工业级的AI性能带入您的私人工作空间，让您从原型设计到大规模部署，实现真正的无缝衔接。 作为全球首款基于NVIDIA Grace Blackwell架构的个人AI超级计算机，DGX Spark将工业级的AI性能带入您的私人工作空间，让您从原型设计到大规模部署，实现真正的无缝衔接。
- 数据湖不是湖，是江湖：Delta Lake / Iceberg / Hudi 到底该选谁？很多同学一上来就问我一句话灵魂拷问：Echo，Delta、Iceberg、Hudi，我到底该用哪个？现在不用是不是就“落后”了？说实话，这问题就跟问我：MySQL、PostgreSQL、MongoDB，哪个最好？——答案永远是：看你干啥。今天这篇文章，我不打算给你一个“标准答案”，而是想帮你建立一个选... 数据湖不是湖，是江湖：Delta Lake / Iceberg / Hudi 到底该选谁？很多同学一上来就问我一句话灵魂拷问：Echo，Delta、Iceberg、Hudi，我到底该用哪个？现在不用是不是就“落后”了？说实话，这问题就跟问我：MySQL、PostgreSQL、MongoDB，哪个最好？——答案永远是：看你干啥。今天这篇文章，我不打算给你一个“标准答案”，而是想帮你建立一个选...
- Airflow 做 ETL，真不是“排个 DAG 就完事儿”：那些年我踩过的坑与悟出的道 Airflow 做 ETL，真不是“排个 DAG 就完事儿”：那些年我踩过的坑与悟出的道
上滑加载中
推荐直播
-
码道新技能，AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动，聚焦两大 AI 开发场景：通过实战教学，带你打造 AI 编程自动生成视频 Skill，并实现对 GitHub 热门开源项目的智能知识抽取，手把手掌握 Skill 开发全流程，用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道：零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据，采用Transformer算法进行时序预测与涨跌分析，并集成DeepSeek API提供智能解读。同时，项目深度结合华为云CodeArts（码道）的代码智能体能力，实现代码一键推送至云端代码仓库，建立起高效、可协作的团队开发新范式。开发者可快速上手，从零打造功能完整的个股筛选、智能分析与风险管控产品。
回顾中 -
华为云码道全新升级，多会话并行与多智能体协作2026/05/08 周五 19:00-21:00
王一男-华为云码道产品专家；张嘉冉-华为云码道工程师；胡琦-华为云HCDE；程诗杰-华为云HCDG
华为云码道4月份版本全新升级，此次直播深度解读4月份产品特性，通过“特性解读+实操演示+实战案例+设计创新”的组合，全方位展现码道在多会话并行与多智能体协作方面的能力，赋能开发者提升效率
正在直播
热门标签