- 《docker高级篇(大厂进阶):6.Docker轻量级可视化工具Portainer》 《docker高级篇(大厂进阶):6.Docker轻量级可视化工具Portainer》
- 亲爱的社区小伙伴们,Apache Doris 3.0.3 版本已于 2024 年 12 月 02 日正式发布。 该版本进一步提升了系统的性能及稳定性,欢迎大家下载体验。GitHub 下载:https://github.com/apache/doris/releases官网下载:https://doris.apache.org/download行为变更禁止在具有同步物化视图的 MOW 表上进行... 亲爱的社区小伙伴们,Apache Doris 3.0.3 版本已于 2024 年 12 月 02 日正式发布。 该版本进一步提升了系统的性能及稳定性,欢迎大家下载体验。GitHub 下载:https://github.com/apache/doris/releases官网下载:https://doris.apache.org/download行为变更禁止在具有同步物化视图的 MOW 表上进行...
- RAIDRAID存储系统是被广泛应用于生产环境的一种存储解决方案。在1978年,美国加州大学伯克 利分校提出了RAID虚拟存储系统。Redundant Array of Independent Disk 即磁盘阵列。 下面着重介绍几种常用RAID级别:一 、raid级别:RAID 0 : 无奇偶校验与冗余的条带存储 ( 条带卷) :多块磁盘组成RAID0以后,数据将被分割并分别存储在每块硬盘... RAIDRAID存储系统是被广泛应用于生产环境的一种存储解决方案。在1978年,美国加州大学伯克 利分校提出了RAID虚拟存储系统。Redundant Array of Independent Disk 即磁盘阵列。 下面着重介绍几种常用RAID级别:一 、raid级别:RAID 0 : 无奇偶校验与冗余的条带存储 ( 条带卷) :多块磁盘组成RAID0以后,数据将被分割并分别存储在每块硬盘...
- 运维新风向:利用大数据分析优化运维流程 运维新风向:利用大数据分析优化运维流程
- java操作http请求针对不同提交方式(application/json和application/x-www-form-urlencoded) java操作http请求针对不同提交方式(application/json和application/x-www-form-urlencoded)
- Windows下,大数据分析与挖掘环境配置(实现Hadoop、Java、SSH免密互连、Scala、Spark、Python3.7) Windows下,大数据分析与挖掘环境配置(实现Hadoop、Java、SSH免密互连、Scala、Spark、Python3.7)
- 在大数据处理领域,存储和管理海量数据是关键挑战之一。随着数据量的剧增,传统的关系型数据库在处理速度和效率上逐渐暴露出瓶颈。为了高效存储和管理大数据,出现了多种面向列式存储和数据压缩格式的文件格式,如 Parquet 和 Avro。这两者是目前大数据处理中最常用的存储格式,广泛应用于各种大数据平台,如 Hadoop 和 Spark。本文将详细探讨如何使用 Parquet 和 Avro 格式来存... 在大数据处理领域,存储和管理海量数据是关键挑战之一。随着数据量的剧增,传统的关系型数据库在处理速度和效率上逐渐暴露出瓶颈。为了高效存储和管理大数据,出现了多种面向列式存储和数据压缩格式的文件格式,如 Parquet 和 Avro。这两者是目前大数据处理中最常用的存储格式,广泛应用于各种大数据平台,如 Hadoop 和 Spark。本文将详细探讨如何使用 Parquet 和 Avro 格式来存...
- 随着大数据时代的到来,机器学习已经成为数据分析和人工智能领域的核心技术。在处理大数据时,Python 因其简洁易用、丰富的机器学习库以及强大的社区支持,成为了数据科学家和工程师的首选编程语言。Python 不仅适用于传统的数据分析,还能够高效地应用于大数据处理和机器学习任务。本篇文章将讨论 Python 在机器学习中的大数据应用,介绍其常用的库与工具,以及如何在大数据环境下进行机器学习训练和... 随着大数据时代的到来,机器学习已经成为数据分析和人工智能领域的核心技术。在处理大数据时,Python 因其简洁易用、丰富的机器学习库以及强大的社区支持,成为了数据科学家和工程师的首选编程语言。Python 不仅适用于传统的数据分析,还能够高效地应用于大数据处理和机器学习任务。本篇文章将讨论 Python 在机器学习中的大数据应用,介绍其常用的库与工具,以及如何在大数据环境下进行机器学习训练和...
- 项目背景介绍随着数据量的不断增长,大数据分析已成为现代企业和科研机构的核心需求。Python作为一种高效、简洁且功能强大的编程语言,在数据科学和大数据分析领域广泛应用。通过Python,分析师可以快速处理海量数据,发现潜在的趋势和模式,从而为决策提供有力支持。本博客将详细介绍如何使用Python进行大数据分析,涵盖从基础工具的介绍到实际分析项目的实现。无论你是数据分析初学者还是有一定编程经验... 项目背景介绍随着数据量的不断增长,大数据分析已成为现代企业和科研机构的核心需求。Python作为一种高效、简洁且功能强大的编程语言,在数据科学和大数据分析领域广泛应用。通过Python,分析师可以快速处理海量数据,发现潜在的趋势和模式,从而为决策提供有力支持。本博客将详细介绍如何使用Python进行大数据分析,涵盖从基础工具的介绍到实际分析项目的实现。无论你是数据分析初学者还是有一定编程经验...
- 知名网络安全公司HackerOne发布的《2023年黑客力量安全报告》透露,已有30名优秀的白帽子各自获得了超100万美元的奖励,而其中最厉害的白帽奖励超过了400万美元。HackerOne是全球领先的漏洞赏金平台,自2012年成立以来,HackerOne已向白帽子和漏洞研究人员发放了超过3亿美元的奖励。白帽遵循一套道德准则和职业操守,在获得组织的明确授权后,通过模拟黑客攻击的方式来测试网络... 知名网络安全公司HackerOne发布的《2023年黑客力量安全报告》透露,已有30名优秀的白帽子各自获得了超100万美元的奖励,而其中最厉害的白帽奖励超过了400万美元。HackerOne是全球领先的漏洞赏金平台,自2012年成立以来,HackerOne已向白帽子和漏洞研究人员发放了超过3亿美元的奖励。白帽遵循一套道德准则和职业操守,在获得组织的明确授权后,通过模拟黑客攻击的方式来测试网络...
- 某全球领先网络解决方案提供商采用了多系统架构(包括 Trino、Pinot、Iceberg 、 Kyuubi 等),面临架构复杂、数据冗余存储、运维困难、资源利用率低、数据时效性差等问题。因此,引入 Apache Doris 替换了 Trino、Pinot 、 Iceberg 及 Kyuubi 技术栈,依赖于 Doris 的实时数据湖能力及高性能 OLAP 分析能力,统一数据湖... 某全球领先网络解决方案提供商采用了多系统架构(包括 Trino、Pinot、Iceberg 、 Kyuubi 等),面临架构复杂、数据冗余存储、运维困难、资源利用率低、数据时效性差等问题。因此,引入 Apache Doris 替换了 Trino、Pinot 、 Iceberg 及 Kyuubi 技术栈,依赖于 Doris 的实时数据湖能力及高性能 OLAP 分析能力,统一数据湖...
- Querybook 是一款专注于大数据查询的应用程序(或者平台,根据其实际性质描述),它旨在为数据分析师、业务人员以及任何需要与大数据打交道的小伙伴们,提供一个简单易用的界面,让大家可以轻松地在海量数据中查找自己想要的信息。 无论是企业存储的海量业务交易记录、用户行为数据,还是从各种渠道收集来的复杂数据集,Querybook 都能够应对自如。它就像是一把精准的钥匙,能够快速打开数据宝库的大门。 Querybook 是一款专注于大数据查询的应用程序(或者平台,根据其实际性质描述),它旨在为数据分析师、业务人员以及任何需要与大数据打交道的小伙伴们,提供一个简单易用的界面,让大家可以轻松地在海量数据中查找自己想要的信息。 无论是企业存储的海量业务交易记录、用户行为数据,还是从各种渠道收集来的复杂数据集,Querybook 都能够应对自如。它就像是一把精准的钥匙,能够快速打开数据宝库的大门。
- 本文详细介绍了PySpark的运行时架构,包括Spark的基本运行时架构、PySpark如何借助Py4j实现Python与Java的交互以及Executor端Task的运行原理。在Executor端,每个Task会启动一个Python进程通过Socket通信执行用户定义的Python函数。PySpark虽然方便,但在大数据场景下,由于JVM和Python进程间的数据通信损耗,可能影响性能,建议在大 本文详细介绍了PySpark的运行时架构,包括Spark的基本运行时架构、PySpark如何借助Py4j实现Python与Java的交互以及Executor端Task的运行原理。在Executor端,每个Task会启动一个Python进程通过Socket通信执行用户定义的Python函数。PySpark虽然方便,但在大数据场景下,由于JVM和Python进程间的数据通信损耗,可能影响性能,建议在大
- 项目背景介绍大数据处理需求在各种行业中日益增加,企业需要快速处理、存储和分析海量数据,以便做出数据驱动的决策。虽然MySQL作为传统的关系型数据库在处理大规模数据时面临一定挑战,但通过优化、扩展和合理的架构设计,MySQL可以在大数据场景中发挥一定的作用,尤其是在处理结构化数据和相对中等规模的数据集时。MySQL通过合适的分区策略、索引优化、查询优化以及分布式集群架构,可以在一定程度上满足大... 项目背景介绍大数据处理需求在各种行业中日益增加,企业需要快速处理、存储和分析海量数据,以便做出数据驱动的决策。虽然MySQL作为传统的关系型数据库在处理大规模数据时面临一定挑战,但通过优化、扩展和合理的架构设计,MySQL可以在大数据场景中发挥一定的作用,尤其是在处理结构化数据和相对中等规模的数据集时。MySQL通过合适的分区策略、索引优化、查询优化以及分布式集群架构,可以在一定程度上满足大...
- 随着信息技术的飞速发展,大数据已经成为当今社会的重要资源之一。它不仅为企业提供了前所未有的商业机会,也为政府治理和社会服务带来了新的可能性。然而,在享受大数据带来的便利的同时,个人隐私泄露的问题日益严重,成为了公众广泛关注的话题。本文将探讨大数据时代下个人隐私保护的重要性,分析存在的主要问题,并提出相应的解决方案。 一、大数据时代下的隐私挑战数据收集广泛:在日常生活中,无论是购物、出行还是社... 随着信息技术的飞速发展,大数据已经成为当今社会的重要资源之一。它不仅为企业提供了前所未有的商业机会,也为政府治理和社会服务带来了新的可能性。然而,在享受大数据带来的便利的同时,个人隐私泄露的问题日益严重,成为了公众广泛关注的话题。本文将探讨大数据时代下个人隐私保护的重要性,分析存在的主要问题,并提出相应的解决方案。 一、大数据时代下的隐私挑战数据收集广泛:在日常生活中,无论是购物、出行还是社...
上滑加载中
推荐直播
-
Skill 构建 × 智能创作:基于华为云码道的 AI 内容生产提效方案2026/03/25 周三 19:00-20:00
余伟,华为云软件研发工程师/万邵业(万少),华为云HCDE开发者专家
本次直播带来两大实战:华为云码道 Skill-Creator 手把手搭建专属知识库 Skill;如何用码道提效 OpenClaw 小说文本,打造从大纲到成稿的 AI 原创小说全链路。技术干货 + OPC创作思路,一次讲透!
回顾中 -
码道新技能,AI 新生产力——从自动视频生成到开源项目解析2026/04/08 周三 19:00-21:00
童得力-华为云开发者生态运营总监/何文强-无人机企业AI提效负责人
本次华为云码道 Skill 实战活动,聚焦两大 AI 开发场景:通过实战教学,带你打造 AI 编程自动生成视频 Skill,并实现对 GitHub 热门开源项目的智能知识抽取,手把手掌握 Skill 开发全流程,用 AI 提升研发效率与内容生产力。
回顾中 -
华为云码道:零代码股票智能决策平台全功能实战2026/04/18 周六 10:00-12:00
秦拳德-中软国际教育卓越研究院研究员、华为云金牌讲师、云原生技术专家
利用Tushare接口获取实时行情数据,采用Transformer算法进行时序预测与涨跌分析,并集成DeepSeek API提供智能解读。同时,项目深度结合华为云CodeArts(码道)的代码智能体能力,实现代码一键推送至云端代码仓库,建立起高效、可协作的团队开发新范式。开发者可快速上手,从零打造功能完整的个股筛选、智能分析与风险管控产品。
回顾中
热门标签