- 前言 之前根据Hadoop官方文档对HDFS、MapReduce的架构、配置管理等进行了学习，但某些地方官方文档讲解的比较模糊。做过开发的人都能够体会，官方文档有些类似业务规则或者要求，而真正的细节还是需要深入研究源代码的。基于以上的原因，决定深入学习Hadoop的源代码，虽然现在已经出现Hadoop-2.x的文档版本，但还是决定学习... 前言 之前根据Hadoop官方文档对HDFS、MapReduce的架构、配置管理等进行了学习，但某些地方官方文档讲解的比较模糊。做过开发的人都能够体会，官方文档有些类似业务规则或者要求，而真正的细节还是需要深入研究源代码的。基于以上的原因，决定深入学习Hadoop的源代码，虽然现在已经出现Hadoop-2.x的文档版本，但还是决定学习...
- 之前手工成功编译Hadoop-1.2.1的Eclipse插件后，发现了若干问题，比如生成的Mapper和Reducer还在使用Hadoop-0.x版本的一些类，为了解决这些问题并使插件能够适应Hadoop-1.2.1的变化，决定修改插件的源代码后再重新编译。 首先需要确定要修改哪些类，在仔细观察了hadoop-1.2.1/src/co... 之前手工成功编译Hadoop-1.2.1的Eclipse插件后，发现了若干问题，比如生成的Mapper和Reducer还在使用Hadoop-0.x版本的一些类，为了解决这些问题并使插件能够适应Hadoop-1.2.1的变化，决定修改插件的源代码后再重新编译。 首先需要确定要修改哪些类，在仔细观察了hadoop-1.2.1/src/co...
- 题记 本文介绍了一个Hadoop2.2.0集群的搭建过程，在2台4G内存的酷睿双核PC机上，使用VMWare WorkStation虚拟了4个RHEL6.2（1G内存、单核CPU、10G硬盘），总计用10个小时的时间，完成虚拟机制作和Hadoop建立过程，总体比较顺利。 本次集群搭建过程中，主要遇到两个问题： （1）第一个是... 题记 本文介绍了一个Hadoop2.2.0集群的搭建过程，在2台4G内存的酷睿双核PC机上，使用VMWare WorkStation虚拟了4个RHEL6.2（1G内存、单核CPU、10G硬盘），总计用10个小时的时间，完成虚拟机制作和Hadoop建立过程，总体比较顺利。 本次集群搭建过程中，主要遇到两个问题： （1）第一个是...
- 背景： 随着社会的发展，经济的飞跃，传统的单系统模式（webApp+DB）已经很难满足业务场景的需要。企业系统开始不断演化成多个子系统并存协作的局面。大大降低了系统间的耦合性，更重要的便于子系统的扩展、升级、维护等。 谈到系统间的协作，目前常用两种方式： 1、基于Http协议 ... 背景： 随着社会的发展，经济的飞跃，传统的单系统模式（webApp+DB）已经很难满足业务场景的需要。企业系统开始不断演化成多个子系统并存协作的局面。大大降低了系统间的耦合性，更重要的便于子系统的扩展、升级、维护等。 谈到系统间的协作，目前常用两种方式： 1、基于Http协议 ...
- HDFS是什么 HDFS设计特性和概念 HDFS，全称是Hadoop Distributed Filesystem，是一个分布式的文件系统，以流式数据访问模式来存储超大文件（一次写入、多次读取）。 HDFS具有如下设计特性： （1）处理超大文件，指的是GB、TB、PB级别的文件。百度、淘宝都... HDFS是什么 HDFS设计特性和概念 HDFS，全称是Hadoop Distributed Filesystem，是一个分布式的文件系统，以流式数据访问模式来存储超大文件（一次写入、多次读取）。 HDFS具有如下设计特性： （1）处理超大文件，指的是GB、TB、PB级别的文件。百度、淘宝都...
- Hadoop既可以以单机模式运行，也可以以伪分布模式运行，这两种模式都是为了使用者方便学习和调试Hadoop，要想发挥Hadoop分布式、并行处理的优势，还须以分布式模式来部署运行Hadoop。单机模式是指Hadoop在单个节点上以单个进程的方式运行，伪分布模式是指在单个节点上运行NameNode、DataNode、JobTracker... Hadoop既可以以单机模式运行，也可以以伪分布模式运行，这两种模式都是为了使用者方便学习和调试Hadoop，要想发挥Hadoop分布式、并行处理的优势，还须以分布式模式来部署运行Hadoop。单机模式是指Hadoop在单个节点上以单个进程的方式运行，伪分布模式是指在单个节点上运行NameNode、DataNode、JobTracker...
- 第一部分 Hadoop 2.2 下载 Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件，所以如果需要在64位系统上部署则需要单独下载src 源码自行编译（10楼评论中提供了一个解决方法... 第一部分 Hadoop 2.2 下载 Hadoop我们从Apache官方网站直接下载最新版本Hadoop2.2。官方目前是提供了linux32位系统可执行文件，所以如果需要在64位系统上部署则需要单独下载src 源码自行编译（10楼评论中提供了一个解决方法...
- 1、分布式环境搭建 采用4台安装Linux环境的机器来构建一个小规模的分布式集群。 图1 集群的架构 其中有一台机器是Master节点，即名称节点，另外三台是Slaver节点，即数据节点。这四台机器彼此间通过路由器相连，从而实验相互通信以及数据传输。它们都可以通过路由器访问Internet，实验网页文档... 1、分布式环境搭建 采用4台安装Linux环境的机器来构建一个小规模的分布式集群。 图1 集群的架构 其中有一台机器是Master节点，即名称节点，另外三台是Slaver节点，即数据节点。这四台机器彼此间通过路由器相连，从而实验相互通信以及数据传输。它们都可以通过路由器访问Internet，实验网页文档...
- 工程师和科学家们面临着用更少的时间建立复杂系统模型的需求，他们使用分布式和并行计算来解决高性能计算的问题。这些分布式的环境由多处理器和多核计算机来实现。 并行计算工具箱和Matlab分布式计算服务器允许你在Matlab中建模和开发分布式和并行应用，并在多核处理器和多核计算机中执行他们，而且并不离开你的及时开发环境。用这... 工程师和科学家们面临着用更少的时间建立复杂系统模型的需求，他们使用分布式和并行计算来解决高性能计算的问题。这些分布式的环境由多处理器和多核计算机来实现。 并行计算工具箱和Matlab分布式计算服务器允许你在Matlab中建模和开发分布式和并行应用，并在多核处理器和多核计算机中执行他们，而且并不离开你的及时开发环境。用这...
- 本文是一篇科普性质的文章，希望能通过一个通俗易懂的例子给大家讲清楚大数据分布式计算技术。 大数据技术虽然包含存储、计算和分析等一系列庞杂的技术，但分布式计算一直是其核心，想要了解大数据技术，不妨从 MapReduce 分布式计算模型开始。 该理论模型并不是什么新理念，早在 2004 年就被 Google 发布，经过十多年的发展，... 本文是一篇科普性质的文章，希望能通过一个通俗易懂的例子给大家讲清楚大数据分布式计算技术。 大数据技术虽然包含存储、计算和分析等一系列庞杂的技术，但分布式计算一直是其核心，想要了解大数据技术，不妨从 MapReduce 分布式计算模型开始。 该理论模型并不是什么新理念，早在 2004 年就被 Google 发布，经过十多年的发展，...
- 分布式计算第四章 RMI 1.定义 RPC (Remote Procedure Call):远程方法调用，用于一个进程调用另一个进程中的过程，从而提供了过程的分布能力。 RMI（Remote Method Invocation):远程方法调用，即在RPC的基础上有向前迈进了一步，提供分布式对象间的通讯。允许运行在一个java 虚拟... 分布式计算第四章 RMI 1.定义 RPC (Remote Procedure Call):远程方法调用，用于一个进程调用另一个进程中的过程，从而提供了过程的分布能力。 RMI（Remote Method Invocation):远程方法调用，即在RPC的基础上有向前迈进了一步，提供分布式对象间的通讯。允许运行在一个java 虚拟...
- 官方入门教程 https://docs.microsoft.com/en-us/dotnet/framework/wcf/getting-started-tutorial 基本介绍 https://docs.microsoft.com/en-us/dotnet/framework/wcf/basic-wcf-programming... 官方入门教程 https://docs.microsoft.com/en-us/dotnet/framework/wcf/getting-started-tutorial 基本介绍 https://docs.microsoft.com/en-us/dotnet/framework/wcf/basic-wcf-programming...
- 服务器端Socket程序 package com.aaa.servet; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader;... 服务器端Socket程序 package com.aaa.servet; import java.io.BufferedReader; import java.io.IOException; import java.io.InputStreamReader;...
- 分布式架构是分布式计算技术的应用和工具，目前成熟的技术包括J2EE, CORBA和.NET(DCOM)，这些技术牵扯的内容非常广，相关的书籍也非常多，也没有涉及这些技术的细节，只是从各种分布式系统平台产生的背景和在软件开发中应用的情况来探讨它们的主要异同。 微服务架构是一项在云中部署应用和服务的新技术。大部分围绕微服务的争论都集中在容... 分布式架构是分布式计算技术的应用和工具，目前成熟的技术包括J2EE, CORBA和.NET(DCOM)，这些技术牵扯的内容非常广，相关的书籍也非常多，也没有涉及这些技术的细节，只是从各种分布式系统平台产生的背景和在软件开发中应用的情况来探讨它们的主要异同。 微服务架构是一项在云中部署应用和服务的新技术。大部分围绕微服务的争论都集中在容...
- 微服务和分布式的联系与区别什么？分布式只是一种手段把不同的机器分散在不同的地方，然后这些机器间相互协助完成业务，而微服务是一种特殊的分布式。分布式将一个大的系统划分为多个业务模块，业务模块分别部署到不同的... 微服务和分布式的联系与区别什么？分布式只是一种手段把不同的机器分散在不同的地方，然后这些机器间相互协助完成业务，而微服务是一种特殊的分布式。分布式将一个大的系统划分为多个业务模块，业务模块分别部署到不同的...
上滑加载中
推荐直播
-
HDC深度解读系列 - Serverless与MCP融合创新，构建AI应用全新智能中枢2025/08/20 周三 16:30-18:00
张昆鹏 HCDG北京核心组代表
HDC2025期间，华为云展示了Serverless与MCP融合创新的解决方案，本期访谈直播，由华为云开发者专家(HCDE)兼华为云开发者社区组织HCDG北京核心组代表张鹏先生主持，华为云PaaS服务产品部 Serverless总监Ewen为大家深度解读华为云Serverless与MCP如何融合构建AI应用全新智能中枢
回顾中 -
关于RISC-V生态发展的思考2025/09/02 周二 17:00-18:00
中国科学院计算技术研究所副所长包云岗教授
中科院包云岗老师将在本次直播中，探讨处理器生态的关键要素及其联系，分享过去几年推动RISC-V生态建设实践过程中的经验与教训。
回顾中 -
一键搞定华为云万级资源，3步轻松管理企业成本2025/09/09 周二 15:00-16:00
阿言 华为云交易产品经理
本直播重点介绍如何一键续费万级资源，3步轻松管理成本，帮助提升日常管理效率！
回顾中
热门标签