- 推荐阅读 AI文本 OCR识别最佳实践 AI Gamma一键生成PPT工具直达链接 玩转cloud Studio 在线编码神器 玩转 GPU AI绘画、AI讲话、翻译,GPU点亮AI想象空间文章字数统计：共3072字。阅读预计10分钟 1. 引言在多线程编程中，为了保证线程间的共享变量的可见性和正确性，我们需要使用同步机制来进行线程间的通信和数据同步。而Java中的Volatile关键字就... 推荐阅读 AI文本 OCR识别最佳实践 AI Gamma一键生成PPT工具直达链接 玩转cloud Studio 在线编码神器 玩转 GPU AI绘画、AI讲话、翻译,GPU点亮AI想象空间文章字数统计：共3072字。阅读预计10分钟 1. 引言在多线程编程中，为了保证线程间的共享变量的可见性和正确性，我们需要使用同步机制来进行线程间的通信和数据同步。而Java中的Volatile关键字就...
- 「java、python面试题」来自UC网盘app分享，打开手机app，额外获得1T空间https://drive.uc.cn/s/2aeb6c2dcedd4AIGC资料包https://drive.uc.cn/s/6077fc42116d4https://pan.xunlei.com/s/VN_qC7kwpKFgKLto4KgP4Do_A1?pwd=7kbv#https://yv4kfv1... 「java、python面试题」来自UC网盘app分享，打开手机app，额外获得1T空间https://drive.uc.cn/s/2aeb6c2dcedd4AIGC资料包https://drive.uc.cn/s/6077fc42116d4https://pan.xunlei.com/s/VN_qC7kwpKFgKLto4KgP4Do_A1?pwd=7kbv#https://yv4kfv1...
- 引言在互联网时代，数据量的爆炸增长给数据处理带来了巨大的挑战。本文将介绍如何高效地处理10个每个文件大小为1G的文件，其中每个文件的每一行存放的都是用户的查询(query)。我们的目标是按照查询的频度对这些查询进行排序。为了解决这个问题，我们将借助大数据处理技术，并给出代码示例。 准备工作在开始之前，我们需要准备一些工具和环境：Hadoop：分布式计算框架，用于处理大规模数据。Hadoop... 引言在互联网时代，数据量的爆炸增长给数据处理带来了巨大的挑战。本文将介绍如何高效地处理10个每个文件大小为1G的文件，其中每个文件的每一行存放的都是用户的查询(query)。我们的目标是按照查询的频度对这些查询进行排序。为了解决这个问题，我们将借助大数据处理技术，并给出代码示例。 准备工作在开始之前，我们需要准备一些工具和环境：Hadoop：分布式计算框架，用于处理大规模数据。Hadoop...
- 数据湖（datalake）通常指的是一个巨大的HDFS或类似的分布式对象存储系统，在数据被转储到这些存储系统时，并没有特别考虑接下来应如何访问它们。Presto可以使它们成为有用的数据仓库。实际上，Facebook开发的目的就是对一个非常大的Hadoop数据仓库进行更快和更强大的查询，提供Hive和其他工具无法提供的能力。这也是Hive连接器的起源。Facebook于2008年开源了Hive... 数据湖（datalake）通常指的是一个巨大的HDFS或类似的分布式对象存储系统，在数据被转储到这些存储系统时，并没有特别考虑接下来应如何访问它们。Presto可以使它们成为有用的数据仓库。实际上，Facebook开发的目的就是对一个非常大的Hadoop数据仓库进行更快和更强大的查询，提供Hive和其他工具无法提供的能力。这也是Hive连接器的起源。Facebook于2008年开源了Hive...
- Google公司2003年开始陆续发表的关于GFS、MapReduce和BigTable的三篇技术论文，成为大数据发展的重要基石。大数据、数据仓库、数据湖。这是三个不同的概念。若不使用数据仓库，就无法使用查询合并来自不同系统的数据。大数据的特性，是4V+1O。Volume, Variety, Value, Velocity, OnlineApache Hadoop 允许用户在不了解分布式系统... Google公司2003年开始陆续发表的关于GFS、MapReduce和BigTable的三篇技术论文，成为大数据发展的重要基石。大数据、数据仓库、数据湖。这是三个不同的概念。若不使用数据仓库，就无法使用查询合并来自不同系统的数据。大数据的特性，是4V+1O。Volume, Variety, Value, Velocity, OnlineApache Hadoop 允许用户在不了解分布式系统...
- 目前支持将 TSFile（包括 TSFile 和相关数据文件）存储在本地文件系统和 Hadoop分布式文件系统 （HDFS） 中。配置TSFile的存储文件系统非常容易。 目前支持将 TSFile（包括 TSFile 和相关数据文件）存储在本地文件系统和 Hadoop分布式文件系统 （HDFS） 中。配置TSFile的存储文件系统非常容易。
- TsFile-Hadoop-Connector 实现了 Hadoop 对 Tsfile 类型的外部数据源的支持。这使用户能够通过Hadoop读取，写入和查询Tsfile。 TsFile-Hadoop-Connector 实现了 Hadoop 对 Tsfile 类型的外部数据源的支持。这使用户能够通过Hadoop读取，写入和查询Tsfile。
- 什么是数据湖数据湖（Data Lake） 是一个用于存储大规模原始和未处理数据的存储系统。与传统的数据库和数据仓库不同，数据湖接受各种类型和格式的数据，包括结构化、半结构化和非结构化数据，而不需要对数据进行事先的转换或预处理。数据湖的目标是为数据科学家、分析师和其他数据使用者提供更灵活、可扩展且可访问的数据存储方式。数据湖是目前比较热的一个概念，许多企业都在构建或者计划构建自己的数据湖。但... 什么是数据湖数据湖（Data Lake） 是一个用于存储大规模原始和未处理数据的存储系统。与传统的数据库和数据仓库不同，数据湖接受各种类型和格式的数据，包括结构化、半结构化和非结构化数据，而不需要对数据进行事先的转换或预处理。数据湖的目标是为数据科学家、分析师和其他数据使用者提供更灵活、可扩展且可访问的数据存储方式。数据湖是目前比较热的一个概念，许多企业都在构建或者计划构建自己的数据湖。但...
- 引言在互联网时代，数据量的爆炸增长给数据处理带来了巨大的挑战。本文将介绍如何高效地处理10个每个文件大小为1G的文件，其中每个文件的每一行存放的都是用户的查询(query)。我们的目标是按照查询的频度对这些查询进行排序。为了解决这个问题，我们将借助大数据处理技术，并给出代码示例。 准备工作在开始之前，我们需要准备一些工具和环境：Hadoop：分布式计算框架，用于处理大规模数据。Hadoop... 引言在互联网时代，数据量的爆炸增长给数据处理带来了巨大的挑战。本文将介绍如何高效地处理10个每个文件大小为1G的文件，其中每个文件的每一行存放的都是用户的查询(query)。我们的目标是按照查询的频度对这些查询进行排序。为了解决这个问题，我们将借助大数据处理技术，并给出代码示例。 准备工作在开始之前，我们需要准备一些工具和环境：Hadoop：分布式计算框架，用于处理大规模数据。Hadoop...
- 【Hadoop】【Yarn】Yarn命令实现 【Hadoop】【Yarn】Yarn命令实现
- 【Hadoop】【Yarn】ResourceManager中的web服务 【Hadoop】【Yarn】ResourceManager中的web服务
- 【Hadoop】【Yarn】Yarn的web 接口实现 【Hadoop】【Yarn】Yarn的web 接口实现
- Hadoop中所有的进程的主线程都会被添加到ShutdownHook中。其作用是当进程的jvm退出可以让进程以一种比较优雅的方式退出。根据注册的shudownhook（线程）的顺序来决定以一种特定的顺序退出。下面是java doc中对shutdown hook官方解释。A shutdown hook is simply an initialized but unstarted thread.... Hadoop中所有的进程的主线程都会被添加到ShutdownHook中。其作用是当进程的jvm退出可以让进程以一种比较优雅的方式退出。根据注册的shudownhook（线程）的顺序来决定以一种特定的顺序退出。下面是java doc中对shutdown hook官方解释。A shutdown hook is simply an initialized but unstarted thread....
- 【Hadoop】【Yarn】NodeManager启动源码分析 【Hadoop】【Yarn】NodeManager启动源码分析
- ContainerManagerImpl作为nodemanger中的一个Service，主要用来管理container的资源隔离。 ContainerManagerImpl作为nodemanger中的一个Service，主要用来管理container的资源隔离。
上滑加载中
推荐直播
-
昇腾AI算法挑战赛-核心算子如何优化？专家带你深度解析2025/11/17 周一 16:00-17:00
王老师 华为算子专家
昇腾AI算法挑战赛进阶赛战鼓催征！本期直播间，我们特邀华为算子专家王老师，为你深度剖析Matmul、wholereducesum等核心算子的底层原理与优化技巧，直击赛题核心。想提升代码效率、冲击更高排名？锁定直播，带你破局！
回顾中 -
AI编码实干派，“码”力全开2026/02/26 周四 15:00-16:30
谈宗玮/于邦旭/丁俊卿/陈云亮/王一男
【中国，深圳，2026年2月26日】，以“AI编码实干派，码力全开”为主题的华为云码道（CodeArts）代码智能体新春发布会在线上成功召开。华为云码道公测版正式发布，为开发者和企业提供具备工程化能力的智能编码解决方案。
回顾中 -
华为云码道-玩转OpenClaw，开启在线养虾模式2026/03/11 周三 19:00-20:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中
热门标签