网络缓存服务器有什么软件,Redis缓存、持久性、高可用性

seo优化3个月前更新 xiaolin
39 0



1、 Redis作为缓存服务器

Redis作为缓存服务器是许多企业的选择之一。虽然技术非常成熟,但也存在一些问题。它指的是缓存渗透、缓存崩溃和缓存失效的问题,然后是分布式锁。

1.1缓存渗透

在今天的项目中,大多数采用垂直MVC架构。服务层调用DAO层,然后DAO层查询数据库。Redis作为缓存服务器,在服务层调用DAO层进行查询时首先查询缓存服务器。如果存在,则直接返回数据。否则,它将查询数据库。从中可以看出,这样做大大减少了磁盘I/O操作,并减轻了数据库的压力。

现在让我们假设数据库中有ID从1到1000的数据。现在,如果有人手动模拟ID为1001的请求,则缓存服务器中不存在数据,因此他们将查询数据库。那就有问题了。如果查询数据库有大量无效请求。这势必会对数据库造成难以承受的压力,这就是所谓的缓存渗透。

如何解决?

1.将查询的空值直接保存到缓存服务器,但不建议这样做,因为大量不同的请求ID也会查询数据库。

2.接口限流、降级和熔断

在项目中,您必须限制重要接口的流量。对于上述恶意攻击请求,您不仅必须限制流量,还必须做好降级和融合的准备。这可以有效地控制大量无效请求。

3.布隆过滤器

Bloomfilter类似于哈希集,用于快速确定集合中是否存在元素。它的典型应用场景是快速确定容器中是否存在密钥,如果不存在则直接返回。Blum过滤器的关键是大多数企业选择的哈希算法和容器大小。

1.2缓存故障

在高并发中,查询一些热点的值,但此时缓存刚刚过期,缓存丢失,导致大量请求直接落在数据库上。此时,如此大量的请求可能会导致数据库崩溃。

解决方案:

1.将热点密钥设置为永不过期。

2.使用互斥锁。

以上两种情况都属于缓存失效,但有一些小细节。也就是说,多个缓存同时失败,特别是在高并发期。为了避免多次缓存失败的问题,我们可以在设置超时时使用固定时间+随机时间。避免在缓存无法工作时大量查询数据库的请求。

1.3分布式锁

通常,分布式锁可以通过三种方式实现:1.乐观数据库锁;2.基于ZooKeeper的分布式锁;3.基于Redis的分布式锁;这里只记录了基于Redis的分布式锁。

分布式锁的要求:

互斥:确保在分布式应用程序集群中,同一锁只能由一台计算机上的一个线程同时执行。避免死锁:当客户端在持有锁而未解锁时崩溃时,它还可以确保其他客户端可以锁定。

首先请参见以下代码:

公共列表 ;商品 ;GoodsManager(){System.out.println(“已调用业务层的GoodsManager方法”);return goodsDao.queryAllPage();//1.首先查询缓存服务器List ;Goods ;goodsList=(List redisTemplate。opsForValue()。获取(“货物”);if(goodsList==null){//2.应用分布式锁RedisConnection conn=redisTemplate.getConnectionFactory().get-Connection();if(conn.setNX(“lock”.getBytes()),“1”.getBytes()){//3.为分布式锁设置超时conn.expire(“lock“.getByte(),60);System.out.println(“查询数据库中的所有商品”);//4。缓存中没有商品列表的数据goodsList=goodsDao。queryAllPage()//5.将结果放入缓存redisTemplate中。opsForValue()。set(“货物”,goodsList);redisTemplate。快递(“货物”,5,TimeUnit.MI NUTES);//6.释放分布式锁conn.dl(“lock”.getBytes());}否则{try{Thread.sleep(50);goodsManager();}catch(InterruptedException e){e.printStackTrace();}}return goodsList;}else{//缓存服务器中商品列表的数据返回goodsList;}}

代码设计思路:

1.请求调用方法。

2.进入Redis缓存,查询是否存在。如果没有,请查询数据库。

3.使用本机连接(setNX)获取分布式锁,然后设置超时。

设置超时时间的原因是,如果t

###2.1 Redis提供了两种持久化方法:RDB:它是备份时Redis内存中的数据结构(我们称之为快照)。AOF:用于在Redis执行写入命令后,在一定条件下将执行的写入命令依次保存在Redis文件中,然后依次执行这些保存的命令以回复Redis数据。

2.2 RDB原理分析

RDB持久性有两种操作模式:持久性的手动操作。

save:在持久化完成之前,当前的Redis服务器将被阻止。应禁止在线使用。Bgsave:此触发器方法派生一个子进程,该子进程负责持久化进程。因此,阻塞仅在分叉子进程时发生。

bgsave和save的最大区别是,bgsave不会阻止客户端的写入操作。然而,如果bgsave失败,Redis将默认停止接受访问操作,否则没有人会注意到灾难。如果你不想这样做,你可以

停止写入bgsave错误yes设置为no

另一种是自动触发持久性。首先,我们可以在配置文件中配置快照规则。

保存900 1在900秒内执行写入命令并使用快照备份

保存300 10在300秒内执行10个写入命令并使用快照备份

保存60 10000在60秒内执行10000个写入命令并使用快照备份

注意:当Redis执行备份命令时,禁止写入该命令

2.3 AOF原理分析

一般来说,AOF的整个过程可以分为两个步骤:一个是命令的实时写入,另一个是重写AOF文件以减小AOF文件的大小。

附加AOF文件的一般过程是:命令写入– ;附加到aof_Buf(缓冲区)– ;同步到aof磁盘。为什么要先写入buf缓冲区,然后将其同步到磁盘?因为实时写入会带来大量的磁盘I/O操作,这将大大降低系统性能。

有几种关于AOF持久性的配置。

appendonly no是否启用AOF备份。默认值为no,并且未启用。如果需要启用,则更改为yes。Appendfilename“appendonly.aof”定义了append命令编写的文件是appendonly aof#appendfsync始终意味着执行的每个Redis命令都将同步保存到aof文件中。性能会受到影响,但安全性很高。Appendfsync everysec evarysec(默认值)表示每秒执行一次同步,性能将得到提高,但安全性将降低,一秒钟内的命令可能会丢失#Appendfsync no表示同步未同步。同步命令需要手动执行。性能有保证,但安全性差。

2.4 Redis内存回收策略

在Redis中,conf中的配置项maxmemory策略用于配置Redis的内存回收策略以及当内存达到最大值时的内存处理方法。

Redis提供六种内存消除策略

易失性lru:allkeys-lru:Volatile random:allkeys random:avolatile ttl:noevication(默认):

在内存回收机制中,LRU算法和TTl算法在Redis中都不是精确的计算,而是近似算法。默认情况下,Redis配置了探测最大内存样本数,默认值为3。

3、 Redis高度可用

3.1、主从复制

当用户数量非常大时,单个Redis肯定是不够的。因此,我们更喜欢读/写分离。读/写分离的前提是读操作比写操作更频繁。将数据长期放置在多个服务器上可以消除单个服务器上的压力。

因此,服务器设置如下图所示:

假设一台服务器负责写操作,其他三台服务器负责读操作,以实现单独的写缓存功能。然而,存在一个明显的缺点,即读取数据的其他三个服务器之间的数据无法同步。这将导致数据不一致。此时,有必要在它们之间进行数据交换。

简要介绍主从复制的概念。如上图所示,主机负责写入数据,其他三台从机负责读取数据。当写入数据时,更新的数据将根据配置的属性自动复制到其他三个服务器,从而实现服务器之间的数据一致性

哨兵是一个独立的过程。Sentinel将检测多个Redis服务器,包括主服务器和从服务器。发送命令以使Redis服务器响应并检查其运行状态。当哨兵检测到主机停机时,它会自动将从机切换到主机,然后通知其他从机修改配置文件并通过发布订阅模式切换主机。为了实现哨兵的高可用性,可以将其配置为多哨兵模式,即多个哨兵进程在不同的服务器上运行,以检测各种Redis服务器,并且哨兵也会相互监视。在多哨兵模式下,一旦主设备关闭,哨兵1在检测到该结果时不会立即故障切换,但只有哨兵1的主管认为主设备不可用。当其他哨兵也检测到主人不可用,并且有一定数量的哨兵时,将在哨兵之间进行投票。投票结果由哨兵发起,将执行切换操作。切换完成后,每个哨兵将能够通过发布和订阅来切换他们监视的服务器的主机。

3.哨兵模式配置

3.1,#配置哨兵配置文件:

redis/src/ssentinel.conf

3.2,#禁用保护模式

保护模式否

3.3,#配置主监控服务。最后2个表示当两个或多个哨兵认为主服务不可用时将执行故障切换

Sentinel监控服务器名称(用户定义)主服务IP端口2

3.4,#定义服务密码

Sentinel auth pass服务器名称(同上)密码

3.5,#启动哨兵模式;

./redis sentinel sentinel.conf

4.其他相关配置

毫秒后哨兵关闭:当哨兵检测到Redis服务时,当Redis服务在一毫秒内无法应答时,单个哨兵考虑的主观离线时间默认为30秒。

Sentinel故障切换超时:指定故障切换运行的毫秒数。当该数字超过此数字时,故障切换将被视为失败。默认值为3分钟。

哨兵通知脚本:指定哨兵检测到Redis实例异常时要调用的警报脚本。

3.3.碎片集群

分片集群的原理是多个缓存服务器两两通信,每个副本集有一个主实例和多个从实例。此外,每个副本集在数据库中存储一部分键值对,这解决了主从副本集中总数据存储的最小实例的限制,并大大扩展了缓存服务器的大小。

结构图如下:

1.碎片集群的特点

1.客户端直接连接到Redis节点,不需要中间代理层。

2.Redis集群将所有物理节点映射到[0-136383]插槽,由集群负责维护。

3.所有Redis节点彼此互连(PING-ONG机制),内部使用Gossip二进制协议优化数据传输。

4.当集群中超过一半的节点发生故障时,节点故障检测生效。

==问题:Redis集群中内置了16384个哈希槽。Redis集群如何决定将密钥放入哪个插槽==

当一个键值被放置在redis集群中时,redis首先使用crc16算法来计算该键的结果,然后将结果的剩余部分计算为16384。这样,每个键将对应于一个编号为0-16383的哈希槽。redis将根据节点的数量大致相等地将哈希槽映射到不同的节点。

2.集群建设步骤

前提条件:

删除appendonly。aof,转储。Redis/src下的rdb、nodes-6379.conf文件。

1.修改redis。conf,配置集群信息,并启用集群,

Cluster enabled yes指定群集的配置文件,

群集配置文件节点port.conf

2.使用redis trib。rb来构建集群。因为redis trib。rb是一个用Ruby实现的Redis集群管理工具,我们需要先安装Ruby环境

2.1.安装Ruby

yum-y安装zlib-ruby-rubygems

2.2安装Rubygems的Redis依赖项

gem安装-l redis-3.3.0.gem

3.安装依赖环境后,我们可以使用script命令

注意:此脚本文件位于解压缩目录src中。

执行命令:

./redis三角形。Rb创建–副本0 192.168.10.167:6379 192.168.10.167:3380 192.168.10.167:8381打开16379 Redis端口+1W

© 版权声明

相关文章

暂无评论

暂无评论...