- 最近遇到一个比较紧急的任务,要求统计在线用户,目的是配合性能测评,要求证明自己系统的在线用户能够达标,不过系统因为历史原因,并没有这个功能,所以只能去springSession官网和网上搜资料,想到通过统计redis里缓存的数据 因为系统原先的逻辑是使用Spring Session加上Redis做的会话共享实现的单点登录,登录之后会在session设置一个key值表示... 最近遇到一个比较紧急的任务,要求统计在线用户,目的是配合性能测评,要求证明自己系统的在线用户能够达标,不过系统因为历史原因,并没有这个功能,所以只能去springSession官网和网上搜资料,想到通过统计redis里缓存的数据 因为系统原先的逻辑是使用Spring Session加上Redis做的会话共享实现的单点登录,登录之后会在session设置一个key值表示...
- 幂等性+ack-1+事务 Kafka数据重复,可以再下一级:SparkStreaming、redis或者hive中dwd层去重,去重的手段:分组、按照id开窗只取第一个值; Kafka数据重复怎么处理? 在下一级消费者中去重。(redis、SparkStreaming) 二、重复消费问题: 即上述 消费方第1种情况—consumer在从broker读取消息后等消费完再comm... 幂等性+ack-1+事务 Kafka数据重复,可以再下一级:SparkStreaming、redis或者hive中dwd层去重,去重的手段:分组、按照id开窗只取第一个值; Kafka数据重复怎么处理? 在下一级消费者中去重。(redis、SparkStreaming) 二、重复消费问题: 即上述 消费方第1种情况—consumer在从broker读取消息后等消费完再comm...
- 因为redis有去重功能,可以保证数据仅仅消费一次。 方案一)通过zookeeper提供的API,自己编写代码,将offset提交到zookeeper;服务启动时,从zookeeper读取offset,并作为"KafkaUtils.createDirectStream"的输入参数 优点:可与基于zookeeper的监控系统融合,对消费情况进行监控 缺点:频繁的读写offset可... 因为redis有去重功能,可以保证数据仅仅消费一次。 方案一)通过zookeeper提供的API,自己编写代码,将offset提交到zookeeper;服务启动时,从zookeeper读取offset,并作为"KafkaUtils.createDirectStream"的输入参数 优点:可与基于zookeeper的监控系统融合,对消费情况进行监控 缺点:频繁的读写offset可...
- 前言 阅读本文之后读者将会学习到如何使用java调用redis。 开发环境包括idea、maven、jdk1.8、redis。 本文假设读者已经在本机搭建好了redis服务器,并开放端口为6379,如果还未完成该操作请参考相关文档搭建redis服务器。 redis可以使用docker快速使用,命令: docker run --name some-redis -p 6379:... 前言 阅读本文之后读者将会学习到如何使用java调用redis。 开发环境包括idea、maven、jdk1.8、redis。 本文假设读者已经在本机搭建好了redis服务器,并开放端口为6379,如果还未完成该操作请参考相关文档搭建redis服务器。 redis可以使用docker快速使用,命令: docker run --name some-redis -p 6379:...
- redis的持久化有哪两种,分别的优点和缺点,默认是哪种机制? 在redis中已经提供了两种持久化的方案: RDB:redis提供的一种基于快照机制实现的持久化方案,而快照就类似于照相机,会将一个服务器某个时刻的一个状态整体保存下来,快照文件一般都非常的小,只有几kb左右。 优点:由于持久化的文件非常小,适合做灾难恢复。 缺点:由于redis中持久化的时机问题,会存在数据丢失... redis的持久化有哪两种,分别的优点和缺点,默认是哪种机制? 在redis中已经提供了两种持久化的方案: RDB:redis提供的一种基于快照机制实现的持久化方案,而快照就类似于照相机,会将一个服务器某个时刻的一个状态整体保存下来,快照文件一般都非常的小,只有几kb左右。 优点:由于持久化的文件非常小,适合做灾难恢复。 缺点:由于redis中持久化的时机问题,会存在数据丢失...
- 这段时间,温故了一下Linux的后端编程。 但是由于东西太杂了,一时之间我也不好界定,到底要不要把那些中间件(数据库、缓存、以后会写的消息队列和负载均衡等)一起加进来。还有一些问题解决方案。 文章目录 Linux网络编程专区数据库专区redis缓存专区消息队列专区负载均衡专区项目日报专区解决方案专区待挖掘技术专区虚拟机相关专区我封装的动态链接库 ... 这段时间,温故了一下Linux的后端编程。 但是由于东西太杂了,一时之间我也不好界定,到底要不要把那些中间件(数据库、缓存、以后会写的消息队列和负载均衡等)一起加进来。还有一些问题解决方案。 文章目录 Linux网络编程专区数据库专区redis缓存专区消息队列专区负载均衡专区项目日报专区解决方案专区待挖掘技术专区虚拟机相关专区我封装的动态链接库 ...
- 文章目录 跳表跳表的搜索跳表的插入抛硬币 跳表的删除 跳表的代码实现跳表数据结构初始化跳表插入节点删除节点销毁跳表 为什么Redis要用跳表来实现有序集合? 跳表 让你现场手写一棵红黑树、AVL树、伸展树之类的,你行吗? 要不让我查资料,我估计只能扯皮。 跳表就不一样了,看懂它的原理很简单,根据它的原理直接手写也是可以实现的。 为什么? 跳表... 文章目录 跳表跳表的搜索跳表的插入抛硬币 跳表的删除 跳表的代码实现跳表数据结构初始化跳表插入节点删除节点销毁跳表 为什么Redis要用跳表来实现有序集合? 跳表 让你现场手写一棵红黑树、AVL树、伸展树之类的,你行吗? 要不让我查资料,我估计只能扯皮。 跳表就不一样了,看懂它的原理很简单,根据它的原理直接手写也是可以实现的。 为什么? 跳表...
- 前言 对于Web来说,用户量和访问量增一定程度上推动项目技术和架构的更迭和进步。可能会有以下的一些状况: 页面并发量和访问量并不多,MySQL足以支撑自己逻辑业务的发展。那么其实可以不加缓存。最多对静态页面进行缓存即可。页面的并发量显著增多,数据库有些压力,并且有些数据更新频率较低反复被查询或者查询速度较慢。那么就可以考虑使用缓存技术优化。对高命中的对象存到key-... 前言 对于Web来说,用户量和访问量增一定程度上推动项目技术和架构的更迭和进步。可能会有以下的一些状况: 页面并发量和访问量并不多,MySQL足以支撑自己逻辑业务的发展。那么其实可以不加缓存。最多对静态页面进行缓存即可。页面的并发量显著增多,数据库有些压力,并且有些数据更新频率较低反复被查询或者查询速度较慢。那么就可以考虑使用缓存技术优化。对高命中的对象存到key-...
- 前言 前面有介绍过spring整合redis和redis的一些注意点,在实际开发中,spring cache方便简化的缓存操作的大部分内容。通过注解的方式实现缓存。 阅读前推荐先阅读:redis缓存介绍。和springboot整合redis 缓存抽象的核心是将缓存应用于Java方法,从而根据缓存中可用的信息减少执行次数。也就是说,每次调用目标方法时,抽象都会应用一... 前言 前面有介绍过spring整合redis和redis的一些注意点,在实际开发中,spring cache方便简化的缓存操作的大部分内容。通过注解的方式实现缓存。 阅读前推荐先阅读:redis缓存介绍。和springboot整合redis 缓存抽象的核心是将缓存应用于Java方法,从而根据缓存中可用的信息减少执行次数。也就是说,每次调用目标方法时,抽象都会应用一...
- 文章目录 前言 缓存 or 不缓存?it's a problem 简单框架 requests_cache 缓存中间件 install_cache() 使用示例 关于requests_cache的其他问题 redis缓存 redis系列挑着看 Windows安装redis Python获得redis支持 redis 存取与序列化封装... 文章目录 前言 缓存 or 不缓存?it's a problem 简单框架 requests_cache 缓存中间件 install_cache() 使用示例 关于requests_cache的其他问题 redis缓存 redis系列挑着看 Windows安装redis Python获得redis支持 redis 存取与序列化封装...
- 大家好,我是不温卜火,是一名计算机学院大数据专业大二的学生,昵称来源于成语—不温不火,本意是希望自己性情温和。作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限,博客中难免会有一些错误出现,有纰漏之处恳请各位大佬不吝赐教!暂时只有csdn这一个平台,博客... 大家好,我是不温卜火,是一名计算机学院大数据专业大二的学生,昵称来源于成语—不温不火,本意是希望自己性情温和。作为一名互联网行业的小白,博主写博客一方面是为了记录自己的学习过程,另一方面是总结自己所犯的错误希望能够帮助到很多和自己一样处于起步阶段的萌新。但由于水平有限,博客中难免会有一些错误出现,有纰漏之处恳请各位大佬不吝赐教!暂时只有csdn这一个平台,博客...
- 文章目录 配置redis最大内存限制查看redis内存相关信息:INFO memory内存都去哪儿了?还没好好使用,就爆了内存回收策略过期键值Redis如何淘汰过期的keys 内存移除控制策略8个解决方方案回收进程如何工作近似LRU算法 内存优化使用32位的redis位级别和字级别的操作尽可能使用散列表 配置redis 如果想要运行一个内存高... 文章目录 配置redis最大内存限制查看redis内存相关信息:INFO memory内存都去哪儿了?还没好好使用,就爆了内存回收策略过期键值Redis如何淘汰过期的keys 内存移除控制策略8个解决方方案回收进程如何工作近似LRU算法 内存优化使用32位的redis位级别和字级别的操作尽可能使用散列表 配置redis 如果想要运行一个内存高...
- 细想了一下,这篇标题上这些东西,每一块拿出来都能长篇大论。那我就,长话挑着说,中间件用链接。 文章目录 redis是什么?为什么说redis是缓存中间件??redis.conf翻译与配置 缓存穿透什么是缓存穿透?缓存穿透的危害!!!该当如何?????方案一:缓存空值方案二:布隆过滤器布隆过滤器 两种方案比较 缓存雪崩雪崩?到点了,键值通通下班了。... 细想了一下,这篇标题上这些东西,每一块拿出来都能长篇大论。那我就,长话挑着说,中间件用链接。 文章目录 redis是什么?为什么说redis是缓存中间件??redis.conf翻译与配置 缓存穿透什么是缓存穿透?缓存穿透的危害!!!该当如何?????方案一:缓存空值方案二:布隆过滤器布隆过滤器 两种方案比较 缓存雪崩雪崩?到点了,键值通通下班了。...
- 1、Redis介绍 1.1、什么是NoSql 为了解决高并发、高可用、高可扩展。大数据存储等一些列问 提的产生的数据库结局方案。 NoSql,叫做非关系型数据库,他的全名Not only sql。它不能 替代关系型数据库,只能作为关系型数据库的一个良好补充。 1.2 什么是redis redis是使用c语言开发的一个高性能键值数... 1、Redis介绍 1.1、什么是NoSql 为了解决高并发、高可用、高可扩展。大数据存储等一些列问 提的产生的数据库结局方案。 NoSql,叫做非关系型数据库,他的全名Not only sql。它不能 替代关系型数据库,只能作为关系型数据库的一个良好补充。 1.2 什么是redis redis是使用c语言开发的一个高性能键值数...
- 学习redis的途中,碰上了redis.conf,突发奇想,想着来进行一波翻译输出。 源码之前,了无秘密。 文章目录 redis集群原文译文 集群 DOCKER/NAT 支持原文译文 慢查询日志原文译文 延迟监控原文译文 订阅发布原文译文 redis集群 原文 #############################... 学习redis的途中,碰上了redis.conf,突发奇想,想着来进行一波翻译输出。 源码之前,了无秘密。 文章目录 redis集群原文译文 集群 DOCKER/NAT 支持原文译文 慢查询日志原文译文 延迟监控原文译文 订阅发布原文译文 redis集群 原文 #############################...
上滑加载中
推荐直播
-
AI编码实干派,“码”力全开2026/02/26 周四 15:00-16:30
谈宗玮/于邦旭/丁俊卿/陈云亮/王一男
【中国,深圳,2026年2月26日】,以“AI编码实干派,码力全开”为主题的华为云码道(CodeArts)代码智能体新春发布会在线上成功召开。华为云码道公测版正式发布,为开发者和企业提供具备工程化能力的智能编码解决方案。
回顾中 -
华为云码道-玩转OpenClaw,在线养虾2026/03/11 周三 19:00-21:00
刘昱,华为云高级工程师/谈心,华为云技术专家/李海仑,上海圭卓智能科技有限公司CEO
OpenClaw 火爆开发者圈,华为云码道最新推出 Skill ——开发者只需输入一句口令,即可部署一个功能完整的「小龙虾」智能体。直播带你玩转华为云码道,玩转OpenClaw
回顾中 -
华为云码道-AI时代应用开发利器2026/03/18 周三 19:00-20:00
童得力,华为云开发者生态运营总监/姚圣伟,华为云HCDE开发者专家
本次直播由华为专家带你实战应用开发,看华为云码道(CodeArts)代码智能体如何在AI时代让你的创意应用快速落地。更有华为云HCDE开发者专家带你用码道玩转JiuwenClaw,让小艺成为你的AI助理。
回顾中
热门标签