- 前言单体redis如下：缺陷：单体redis可能由于各种原因导致宕机的问题。所以，需要使用redis主从集群 一、Redis集群Redis 集群的三种模式主从同步/复制哨兵模式Cluster 集群（官方推荐） 1.主从同步/复制在复制的概念中，数据库分为两类，一类是主数据库（master），另一类是从数据库(slave）。主数据库可以进行读写操作，当写操作导致数据变化时会自动将数据同步给从... 前言单体redis如下：缺陷：单体redis可能由于各种原因导致宕机的问题。所以，需要使用redis主从集群 一、Redis集群Redis 集群的三种模式主从同步/复制哨兵模式Cluster 集群（官方推荐） 1.主从同步/复制在复制的概念中，数据库分为两类，一类是主数据库（master），另一类是从数据库(slave）。主数据库可以进行读写操作，当写操作导致数据变化时会自动将数据同步给从...
- 这可视化性能数据从何来？如何在图中将性能指标和任务进度结合起来，可以一目了然看清应用在不同运行阶段的资源使用状况呢？为了Spark性能优化，专门大数据性能测试工具Dew。Dew也是个分布式大数据系统，部署在整个Hadoop大数据集群的所有服务器上。可实时采集服务器上的性能数据和作业日志，收集起来以后解析这些日志数据，将作业运行时间和采集性能指标的时间在同一个坐标系绘制出来，就得到上面的可视化... 这可视化性能数据从何来？如何在图中将性能指标和任务进度结合起来，可以一目了然看清应用在不同运行阶段的资源使用状况呢？为了Spark性能优化，专门大数据性能测试工具Dew。Dew也是个分布式大数据系统，部署在整个Hadoop大数据集群的所有服务器上。可实时采集服务器上的性能数据和作业日志，收集起来以后解析这些日志数据，将作业运行时间和采集性能指标的时间在同一个坐标系绘制出来，就得到上面的可视化...
- HDFS集群搭建-伪分布式模式前言博主语录：一文精讲一个知识点，多了你记不住，一句废话都没有经典语录：美好的事情不是没有裂痕，而是满是裂痕而没有崩开一、实操&理论验证HDFS安装配置HDFS命令行使用理论知识点验证二、官网导读Hadoop - Apache Hadoop 2.6.5https://hadoop.apache.org/docs/r2.6.5/支持最好的平台：GNU/Linux依... HDFS集群搭建-伪分布式模式前言博主语录：一文精讲一个知识点，多了你记不住，一句废话都没有经典语录：美好的事情不是没有裂痕，而是满是裂痕而没有崩开一、实操&理论验证HDFS安装配置HDFS命令行使用理论知识点验证二、官网导读Hadoop - Apache Hadoop 2.6.5https://hadoop.apache.org/docs/r2.6.5/支持最好的平台：GNU/Linux依...
- 一、Ceph概述1、背景Ceph是一个去中心化的分布式存储系统， 提供较好的性能、可靠性和可扩展性。Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区， 遵循LGPL协议 （LESSER GENERAL PUBLIC LICENSE的简写，中文译为“较宽松公共许可证”）。在经过了数年的发展之后，目前已得到众多云计算厂商（OpenStack、... 一、Ceph概述1、背景Ceph是一个去中心化的分布式存储系统， 提供较好的性能、可靠性和可扩展性。Ceph项目最早起源于Sage就读博士期间的工作（最早的成果于2004年发表），并随后贡献给开源社区， 遵循LGPL协议 （LESSER GENERAL PUBLIC LICENSE的简写，中文译为“较宽松公共许可证”）。在经过了数年的发展之后，目前已得到众多云计算厂商（OpenStack、...
- 极速体验pinpoint所提供的调用链跟踪等服务 极速体验pinpoint所提供的调用链跟踪等服务
- @toc源码地址：gitee仓库地址 1、Ribbon系列 1.1 启动nacos和sentinel 1.2 创建两个服务提供者payment9003和payment9004 新建cloudalibaba-provider-payment9003/9004两个一样的做法 由于9003和9004除了端口号不一样，其他几乎一致，这里只演示9003端口的搭建方式。 pom.xml <dep... @toc源码地址：gitee仓库地址 1、Ribbon系列 1.1 启动nacos和sentinel 1.2 创建两个服务提供者payment9003和payment9004 新建cloudalibaba-provider-payment9003/9004两个一样的做法 由于9003和9004除了端口号不一样，其他几乎一致，这里只演示9003端口的搭建方式。 pom.xml <dep...
- MatrixOne是一个新一代超融合异构数据库，致力于打造单一架构处理TP、AP、流计算等多种负载的极简大数据引擎。MatrixOne由Go语言所开发，并已于2021年10月开源。MatrixOne作为一款Go语言实现的数据库，居然可以与C++实现的顶级OLAP数据库Clickhouse性能媲美，这其中就涉及到了很多方面的优化这本文就将详细说明MatrixOne是如何用Go实现高性能哈希表的。 MatrixOne是一个新一代超融合异构数据库，致力于打造单一架构处理TP、AP、流计算等多种负载的极简大数据引擎。MatrixOne由Go语言所开发，并已于2021年10月开源。MatrixOne作为一款Go语言实现的数据库，居然可以与C++实现的顶级OLAP数据库Clickhouse性能媲美，这其中就涉及到了很多方面的优化这本文就将详细说明MatrixOne是如何用Go实现高性能哈希表的。
- 在单体架构下，我们大多使用的是单体数据库，通过数据库的ACID特性支持，实现了本地事务。但是在微服务架构下复杂的业务关系中，分布式事务是不可避免的问题之一。Seata是Spring Cloud Alibaba分布式事务解决方案中间件，解决了微服务场景下面临的分布式事务问题。本文介绍如何通过搭建Seata环境，并通过其AT模式，实现分布式事务。本文中使用的环境版本：nacos-server-1... 在单体架构下，我们大多使用的是单体数据库，通过数据库的ACID特性支持，实现了本地事务。但是在微服务架构下复杂的业务关系中，分布式事务是不可避免的问题之一。Seata是Spring Cloud Alibaba分布式事务解决方案中间件，解决了微服务场景下面临的分布式事务问题。本文介绍如何通过搭建Seata环境，并通过其AT模式，实现分布式事务。本文中使用的环境版本：nacos-server-1...
- 1 概述源于Google的MapReduce论文，发表于2004年12月。Hadoop MapReduce是Google MapReduce的克隆版。Hadoop问世前，已有分布式计算，但都是专用系统，仅处理某一类计算，比如进行大规模数据排序。这样的系统无法复用到其他大数据计算场景，每种应用都需要开发与维护专门系统。而Hadoop MapReduce造就了大数据计算通用编程。只要遵循Map... 1 概述源于Google的MapReduce论文，发表于2004年12月。Hadoop MapReduce是Google MapReduce的克隆版。Hadoop问世前，已有分布式计算，但都是专用系统，仅处理某一类计算，比如进行大规模数据排序。这样的系统无法复用到其他大数据计算场景，每种应用都需要开发与维护专门系统。而Hadoop MapReduce造就了大数据计算通用编程。只要遵循Map...
- 1 概述 1.1 简介Hadoop实现的一个分布式文件系统（Hadoop Distributed File System），简称HDFS源自于Google的GFS论文，发表于2003年，HDFS是GFS的克隆版大数据中最宝贵、最难以代替的就是数据，一切都围绕数据。HDFS是最早的大数据存储系统，存储着宝贵的数据资产，各种新算法、框架要想得到广泛使用，必须支持HDFS，才能获取已存储在里面的... 1 概述 1.1 简介Hadoop实现的一个分布式文件系统（Hadoop Distributed File System），简称HDFS源自于Google的GFS论文，发表于2003年，HDFS是GFS的克隆版大数据中最宝贵、最难以代替的就是数据，一切都围绕数据。HDFS是最早的大数据存储系统，存储着宝贵的数据资产，各种新算法、框架要想得到广泛使用，必须支持HDFS，才能获取已存储在里面的...
- 个人简介作者是一个来自河源的大三在校生，以下笔记都是作者自学之路的一些浅薄经验，如有错误请指正，将来会不断的完善笔记，帮助更多的Java爱好者入门。@[toc] 分布式搜索引擎-ElasticSearch（下集）注意：ElasticSearch版本为7.6.1 什么是ElasticSearchElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜... 个人简介作者是一个来自河源的大三在校生，以下笔记都是作者自学之路的一些浅薄经验，如有错误请指正，将来会不断的完善笔记，帮助更多的Java爱好者入门。@[toc] 分布式搜索引擎-ElasticSearch（下集）注意：ElasticSearch版本为7.6.1 什么是ElasticSearchElasticSearch是一个基于Lucene的搜索服务器。它提供了一个分布式多用户能力的全文搜...
- 一、微服务场景下Nginx的使用Nginx默认使用轮询算法 1.最小活跃数算法问题：当客户端给Nginx发送查询商品的请求时，Nginx把请求转发给5001 和 5002 ,如果5002处理请求比较慢，会导致请求堆积在5002。如何解决请求堆积问题？解决方案：最小活跃数算法#user nobody;worker_processes 1;#error_log logs/error.lo... 一、微服务场景下Nginx的使用Nginx默认使用轮询算法 1.最小活跃数算法问题：当客户端给Nginx发送查询商品的请求时，Nginx把请求转发给5001 和 5002 ,如果5002处理请求比较慢，会导致请求堆积在5002。如何解决请求堆积问题？解决方案：最小活跃数算法#user nobody;worker_processes 1;#error_log logs/error.lo...
- 往往开始做一个项目时，不会过多的考虑性能问题，以快速迭代功能为主。后续随着业务的快速发展，系统运行的性能越来越慢，此时，就需要对系统进行相应的优化，而效果最显著的就是给系统加上缓存。那么，问题来了，当你为系统加上缓存时，有没有考虑过使用缓存需要注意哪些事项呢？ 往往开始做一个项目时，不会过多的考虑性能问题，以快速迭代功能为主。后续随着业务的快速发展，系统运行的性能越来越慢，此时，就需要对系统进行相应的优化，而效果最显著的就是给系统加上缓存。那么，问题来了，当你为系统加上缓存时，有没有考虑过使用缓存需要注意哪些事项呢？
- 管理后台没有采用前后端分离，采用shiro+thymeleaf的若依框架，项目模块较多，项目分组较多，有希望进行分布式开发的需求，可以共同探讨下本文的思路。 升级思路编写通用的shiro认证模块，所有服务引入此模块。搭建认证中心portal,用户登录都走认证中心基于session的有效domain,所有服务使用相同域名， shiro通过redis存放session。思路参见以前文章分布式sh... 管理后台没有采用前后端分离，采用shiro+thymeleaf的若依框架，项目模块较多，项目分组较多，有希望进行分布式开发的需求，可以共同探讨下本文的思路。 升级思路编写通用的shiro认证模块，所有服务引入此模块。搭建认证中心portal,用户登录都走认证中心基于session的有效domain,所有服务使用相同域名， shiro通过redis存放session。思路参见以前文章分布式sh...
- 分布式shiro权限验证 对于非前后端分离的后台管理系统权限验证，shiro做为一个轻量级的权限验证框架，在很多以前的项目中会被使用。在新项目中一般会使用spring security，Spring提供的框架支持度较好。Shiro的常用注解 @RequiresPermissions @RequiresRoles @RequiresUser。 搭建shiro项目引入依赖 shiro，r... 分布式shiro权限验证 对于非前后端分离的后台管理系统权限验证，shiro做为一个轻量级的权限验证框架，在很多以前的项目中会被使用。在新项目中一般会使用spring security，Spring提供的框架支持度较好。Shiro的常用注解 @RequiresPermissions @RequiresRoles @RequiresUser。 搭建shiro项目引入依赖 shiro，r...
上滑加载中
推荐直播
-
算子工具性能优化新特性演示——MatMulLeakyRelu性能调优实操2025/01/10 周五 15:30-17:30
MindStudio布道师
算子工具性能优化新特性演示——MatMulLeakyRelu性能调优实操
回顾中 -
用代码全方位驱动 OBS 存储2025/01/14 周二 16:30-18:00
阿肯 华为云生态技术讲师
如何用代码驱动OBS？常用的数据管理，对象清理，多版本对象访问等应该如何编码？本期课程一一演示解答。
即将直播 -
GaussDB数据库开发2025/01/15 周三 16:00-17:30
Steven 华为云学堂技术讲师
本期直播将带你了解GaussDB数据库开发相关知识，并通过实验指导大家利用java基于JDBC的方式来完成GaussD数据库基础操作。
去报名
热门标签