- 1、要学Java，java跨平台，并且很多大数据的框架都是java开发。2、hadoop 虽然现在好多都用spark，但了解 hadoop 有利于对其他的了解，并且现在也有很多是用的hadoop+spark3、Linux 这个就不用说了4、Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为M... 1、要学Java，java跨平台，并且很多大数据的框架都是java开发。2、hadoop 虽然现在好多都用spark，但了解 hadoop 有利于对其他的了解，并且现在也有很多是用的hadoop+spark3、Linux 这个就不用说了4、Hive Hive是基于Hadoop的一个数据仓库工具，可以将结构化的数据文件映射为一张数据库表，并提供简单的sql查询功能，可以将sql语句转换为M...
- 分布式系统背景说分布式系统必须要说集中式系统，集中式系统中整个项目就是一个独立的应用，整个应用也就是整个项目，所有的东西都在一个应用里面。如下图所示如一个网站就是一个应用，最后是多个增加多台服务器或者多个容器来达到负载均衡的避免单点故障的目的，当然，数据库是可以分开部署的。集中式很明显的优点就是开发测试运维会比较方便，不用为考虑复杂的分布式环境。集中式很明显的弊端就是不易扩展，每次更新都必须... 分布式系统背景说分布式系统必须要说集中式系统，集中式系统中整个项目就是一个独立的应用，整个应用也就是整个项目，所有的东西都在一个应用里面。如下图所示如一个网站就是一个应用，最后是多个增加多台服务器或者多个容器来达到负载均衡的避免单点故障的目的，当然，数据库是可以分开部署的。集中式很明显的优点就是开发测试运维会比较方便，不用为考虑复杂的分布式环境。集中式很明显的弊端就是不易扩展，每次更新都必须...
- 一个系统中包含有各种各样的配置信息，如一个日志文件需要配置以下几个信息。日志文件生成主目录日志文件名称，不同的日志级别对应不同的文件当前日志级别还有其他各种业务参数、系统参数等，大多单一系统是直接把这些配置写死在配置文件中，当部署到测试、生产环境就再修改下配置文件，这样很容易出错，也不能灵活修改。还有就是系统变成分布式系统后，子系统越来越多，你要维护这些配置就变得越来越困难。我觉得至少要能解... 一个系统中包含有各种各样的配置信息，如一个日志文件需要配置以下几个信息。日志文件生成主目录日志文件名称，不同的日志级别对应不同的文件当前日志级别还有其他各种业务参数、系统参数等，大多单一系统是直接把这些配置写死在配置文件中，当部署到测试、生产环境就再修改下配置文件，这样很容易出错，也不能灵活修改。还有就是系统变成分布式系统后，子系统越来越多，你要维护这些配置就变得越来越困难。我觉得至少要能解...
- 在许多场景中，数据一致性是一个比较重要的话题，在单机环境中，我们可以通过Java提供的并发API来解决；而在分布式环境(会遇到网络故障、消息重复、消息丢失等各种问题)下要复杂得多，常见的解决方案是分布式事务、分布式锁等。本文主要探讨如何利用Zookeeper来实现分布式锁。关于分布式锁分布式锁是控制分布式系统之间同步访问共享资源的一种方式。在实现分布式锁的过程中需要注意的：锁的可重入性(递归... 在许多场景中，数据一致性是一个比较重要的话题，在单机环境中，我们可以通过Java提供的并发API来解决；而在分布式环境(会遇到网络故障、消息重复、消息丢失等各种问题)下要复杂得多，常见的解决方案是分布式事务、分布式锁等。本文主要探讨如何利用Zookeeper来实现分布式锁。关于分布式锁分布式锁是控制分布式系统之间同步访问共享资源的一种方式。在实现分布式锁的过程中需要注意的：锁的可重入性(递归...
- 存储虚拟化 存储虚拟化
- 一、Kafka简介kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性，但是在实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例()成... 一、Kafka简介kafka is a distributed,partitioned,replicated commit logservice。它提供了类似于JMS的特性，但是在实现上完全不同，此外它并不是JMS规范的实现。kafka对消息保存时根据Topic进行归类，发送消息者成为Producer,消息接受者成为Consumer,此外kafka集群有多个kafka实例组成，每个实例()成...
- 作者：大闲人柴毛毛链接：https://www.zhihu.com/question/20004877/answer/282033178来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。单机结构我想大家最最最熟悉的就是单机结构，一个系统业务量很小的时候所有的代码都放在一个项目中就好了，然后这个项目部署在一台服务器上就好了。整个项目所有的服务都由这台服务器提供。这就... 作者：大闲人柴毛毛链接：https://www.zhihu.com/question/20004877/answer/282033178来源：知乎著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。单机结构我想大家最最最熟悉的就是单机结构，一个系统业务量很小的时候所有的代码都放在一个项目中就好了，然后这个项目部署在一台服务器上就好了。整个项目所有的服务都由这台服务器提供。这就...
- MapReduce作为一个面向海量数据分布式处理的计算模型、框架和平台，具备以下三个特点：1、易于编程：程序员仅需描述Map阶段和Reduce阶段要如何解析、处理数据，具体怎么读取数据并对处理结果进行排序、分区、组合、合并等等，都可以交由系统的执行框架处理。2、良好的扩展性：可通过添加节点以扩展集群运算能力。3、高容错性：在程序运行过程中，当某些节点发生故障时，通过计算迁移或数据迁移等策略在... MapReduce作为一个面向海量数据分布式处理的计算模型、框架和平台，具备以下三个特点：1、易于编程：程序员仅需描述Map阶段和Reduce阶段要如何解析、处理数据，具体怎么读取数据并对处理结果进行排序、分区、组合、合并等等，都可以交由系统的执行框架处理。2、良好的扩展性：可通过添加节点以扩展集群运算能力。3、高容错性：在程序运行过程中，当某些节点发生故障时，通过计算迁移或数据迁移等策略在...
- 上一篇文章讲述了一个服务如何从配置中心读取文件，配置中心如何从远程git读取配置文件，当服务实例很多时，都从配置中心读取文件，这时可以考虑将配置中心做成一个微服务，将其集群化，从而达到高可用 上一篇文章讲述了一个服务如何从配置中心读取文件，配置中心如何从远程git读取配置文件，当服务实例很多时，都从配置中心读取文件，这时可以考虑将配置中心做成一个微服务，将其集群化，从而达到高可用
- 在分布式系统中，由于服务数量巨多，为了方便服务配置文件统一管理，实时更新，所以需要分布式配置中心组件。在Spring Cloud中，有分布式配置中心组件spring cloud config ，它支持配置服务放在配置服务的内存中（即本地），也支持放在远程Git仓库中。在spring cloud config 组件中，分两个角色，一是config server，二是config client。 在分布式系统中，由于服务数量巨多，为了方便服务配置文件统一管理，实时更新，所以需要分布式配置中心组件。在Spring Cloud中，有分布式配置中心组件spring cloud config ，它支持配置服务放在配置服务的内存中（即本地），也支持放在远程Git仓库中。在spring cloud config 组件中，分两个角色，一是config server，二是config client。
- 分布式存储简单的来说，就是将数据分散存储到多个数据存储存储服务器上。分布式存储目前多借鉴Google的经验，在众多的服务器搭建一个分布式文件系统，再在这个分布式文件系统上实现相关的数据存储业务，甚至是再实现二级存储业务如Bigtable。分布式存储具有可扩展性、可用性、可靠性、 高性能、易维护、低成本等特性。分布式存储系统中面临着的首要问题就是如何将大量的数据分布在不同的存储节点上，无论上层... 分布式存储简单的来说，就是将数据分散存储到多个数据存储存储服务器上。分布式存储目前多借鉴Google的经验，在众多的服务器搭建一个分布式文件系统，再在这个分布式文件系统上实现相关的数据存储业务，甚至是再实现二级存储业务如Bigtable。分布式存储具有可扩展性、可用性、可靠性、 高性能、易维护、低成本等特性。分布式存储系统中面临着的首要问题就是如何将大量的数据分布在不同的存储节点上，无论上层...
- Masstransit作为.Net平台下的一款优秀的开源产品却没有得到应有的关注，这段时间有机会阅读了Masstransit的源码，我觉得我有必要普及一下这个框架的使用。值得一提的是Masstransit的源码写的非常优秀，值得每个想提高自己编程能力的.Net选手阅读，整个代码看起来赏心悦目。反之，每次打开自己公司项目的时候心情都异常沉重。所以不是.Net不行，还是咱们水平不行。学会了Mas... Masstransit作为.Net平台下的一款优秀的开源产品却没有得到应有的关注，这段时间有机会阅读了Masstransit的源码，我觉得我有必要普及一下这个框架的使用。值得一提的是Masstransit的源码写的非常优秀，值得每个想提高自己编程能力的.Net选手阅读，整个代码看起来赏心悦目。反之，每次打开自己公司项目的时候心情都异常沉重。所以不是.Net不行，还是咱们水平不行。学会了Mas...
- YARN调度资源的介绍 YARN调度资源的介绍
- HDFS基本原理的介绍 HDFS基本原理的介绍
- 项目中除了主流业务，往往带有很多附带功能，比如订单确认给客户发送邮件或者短信，流程审批完成给申请人发送审批完成消息，根据会员生日提前发生日问候 等等，这些功能一般都是以任务的形式存在，少量的任务还好，如果多了，一个集中管理任务的平台还是非常有必要的，xxl-job非常的优秀，是许雪里大神的作品，官方介绍在http://www.xuxueli.com/xxl-job/#/ 这篇文章主要介绍平台... 项目中除了主流业务，往往带有很多附带功能，比如订单确认给客户发送邮件或者短信，流程审批完成给申请人发送审批完成消息，根据会员生日提前发生日问候 等等，这些功能一般都是以任务的形式存在，少量的任务还好，如果多了，一个集中管理任务的平台还是非常有必要的，xxl-job非常的优秀，是许雪里大神的作品，官方介绍在http://www.xuxueli.com/xxl-job/#/ 这篇文章主要介绍平台...
上滑加载中
推荐直播
-
昇腾AI算法挑战赛-核心算子如何优化？专家带你深度解析2025/11/17 周一 16:00-17:00
王老师 华为算子专家
昇腾AI算法挑战赛进阶赛战鼓催征！本期直播间，我们特邀华为算子专家王老师，为你深度剖析Matmul、wholereducesum等核心算子的底层原理与优化技巧，直击赛题核心。想提升代码效率、冲击更高排名？锁定直播，带你破局！
回顾中 -
AI编码实干派，“码”力全开2026/02/26 周四 15:00-16:30
谈宗玮/于邦旭/丁俊卿/陈云亮/王一男
【中国，深圳，2026年2月26日】，以“AI编码实干派，码力全开”为主题的华为云码道（CodeArts）代码智能体新春发布会在线上成功召开。华为云码道公测版正式发布，为开发者和企业提供具备工程化能力的智能编码解决方案。
回顾中 -
华为云码道-玩转OpenClaw，开启在线养虾模式2026/03/11 周三 19:00-20:00
刘昱，华为云高级工程师/谈心，华为云技术专家/李海仑，上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈，华为云码道最新推出 Skill ——开发者只需输入一句口令，即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道，玩转OpenClaw
回顾中
热门标签