蒋振飞的博客 - 网站搭建 (第16天) Redis缓存提速   
正在加载蒋振飞的博客...
V3.0
蒋振飞的博客

网站搭建 (第16天) Redis缓存提速

发布时间: 2018年09月15日 发布人: 蒋振飞 热度: 680 ℃ 评论数: 0

一、前言

在服务器配置不算高的情况下,频繁地访问数据库会增加许多开销,当查询的内容较多或较复杂时,会占用很多的查询时间,容易使得访问卡,慢,出错等情况。由于之前在部署网站的时候,我没有采用那些常用的缓存技术,随着我的发表文章越来越多,我也感受到了卡,慢的现象,用户体验很差。之前我也学习过redis基本使用,而且将所学习内容总结在Redis使用教程 (全)这篇文章里,这次是将Redis应用在Django项目中,一起来学习下吧!

首先,有必要对redis作一个简单介绍,一个开源的高性能的key-value存储系统。

二、redis基础

1.redis特点

1) redis支持数据的持久化,可以将内存中的数据保持在磁盘中,重启的时候可以再次加载进行使用。

2) redis不仅仅支持简单的key-value类型的数据,同时还提供list,set,sorted set,hash等数据结构的存储。

3) redis支持数据的备份,即master-slave模式的数据备份。

2.redis优势

1) 性能极高 – redis能读的速度是110000次/s,写的速度是81000次/s 。

2) 丰富的数据类型 – Redis支持二进制案例的 String, List, Hash, Set 及 Sorted Set 数据类型操作。

3) 原子 – redis的所有操作都是原子性的,同时Redis还支持对几个操作全并后的原子性执行。

4) 丰富的特性 – redis还支持 publish/subscribe, 通知, key 过期等等特性。

3.redis安装

具体安装,见Redis使用教程 (全)。安装好后,可将redis服务以守护进程运行。

三、安装django-redis和settings配置

执行命令,即可安装:

pip install django-redis

目前django-redis已更新到4.9.0版本。安装完毕之后,给Django项目的settings.py文件添加如下配置。

CACHES = {
    'default': {
        'BACKEND': 'django_redis.cache.RedisCache',
        'LOCATION': '127.0.0.1:6379',
        "OPTIONS": {
            "CLIENT_CLASS": "django_redis.client.DefaultClient",
        },
    },
}

网上大部分文章该部分配置有误(可能是旧版的redis库对应配置),都是写成如下:

CACHES = {
    'default': {
        'BACKEND': 'redis_cache.cache.RedisCache',
        'LOCATION': '127.0.0.1:6379',
        "OPTIONS": {
            "CLIENT_CLASS": "redis_cache.client.DefaultClient",
        },
    },
}

这么写会报错:InvalidCacheBackendError: Could not find backend redis_cache.cache.RedisCache': No module named redis_cache.cache。找不到对应的模块。另外,LOCATION参数和你的redis.conf文件中IP地址和端口要一致。redis服务才能监听到你的读写操作。

四、测试redis缓存

该步骤非必须,只是为了测试看可否正常使用redis。进入django的后台命令模式:

python manage.py shell

逐条输入如下命令测试。

from django.core.cache import cache #引入缓存模块
cache.set('k', '12314', 30*60)      #写入key为k,值为12314的缓存,有效期30分钟
cache.has_key('k') #判断key为k是否存在
cache.get('k')     #获取key为k的缓存

测试没问题,则说明可正常使用。若出现错误:ConnectionError: Error 10061 connecting to None:6379。说明没开启redis。

五、redis缓存功能开发

redis支持字符串、列表、集合、字典等数据结构。经测试,可将Python的字典和列表直接存储。也可以用json模块对字典和列表转化成字符串再存储。

至于缓存时效看具体情况,建议30分钟或者1小时更新一次。原本我考虑1天更新1次数据,但全球有很多个时区。不是每个时区都和我一样在0点的时候看到更新结果。所以,每1小时更新一次的频率较为合适,你可以直接设置60*60秒。而我需要整点的时候更新,需要再多一步计算到下一个整点还有多少秒。

我将一些复杂的查询做了改动,主要是一些文章排行的统计,下面是获取最新发表与最新推荐的排行缓存内容,注释的部分代码是之前没有使用缓存,直接操作的数据库。其中随机发表不适合使用缓存,否则查询出来的就是固定文章,从而不具有随机性了。

# 最新发表的15篇博客
# new_publish = Post.objects.filter(Q(display=0) | Q(display__isnull=True))[:15]
new_publish = cache.get('new_publish')
if new_publish is None:
    new_publish = Post.objects.filter(Q(display=0) | Q(display__isnull=True))[:15]
    # 60*60表示60秒*60,也就是1小时
    cache.set('new_publish', new_publish, 60 * 60)

# 获取Post模型类或模型的实例,并返回ContentType表示该模型的实例
post_content_type = ContentType.objects.get_for_model(Post)

# 最新推荐的15篇博客
# new_recommend = get_new_recommend_post(post_content_type)
new_recommend = cache.get('new_recommend')
if new_recommend is None:
    new_recommend = get_new_recommend_post(post_content_type)
    # 60*60表示60秒*60,也就是1小时
    cache.set('new_recommend', new_recommend, 60 * 60

还有周榜,月榜,总榜

# 阅读量周榜博客榜单
# last_7_days_hot_data = get_7_days_read_posts()
last_7_days_hot_data = cache.get('last_7_days_hot_data')
if last_7_days_hot_data is None:
    last_7_days_hot_data = get_7_days_read_posts()
    # 60*60表示60秒*60,也就是1小时
    cache.set('last_7_days_hot_data', last_7_days_hot_data, 60 * 60)

# 阅读量月榜博客榜单
# last_30_days_hot_data = get_30_days_read_posts()
last_30_days_hot_data = cache.get('last_30_days_hot_data')
if last_30_days_hot_data is None:
    last_30_days_hot_data = get_30_days_read_posts()
    # 60*60表示60秒*60,也就是1小时
    cache.set('last_30_days_hot_data', last_30_days_hot_data, 60 * 60)

# 阅读量总榜博客榜单
# all_hot_posts = get_all_read_posts()
all_hot_posts = cache.get('all_hot_posts')
if all_hot_posts is None:
    all_hot_posts = get_all_read_posts()
    # 60*60表示60秒*60,也就是1小时
    cache.set('all_hot_posts', all_hot_posts, 60 * 60)

这里只是简单地表示一下缓存的应用,所以直接将定义的函数写入了代码中,如果不清楚排行的统计功能,可以看看之前写的博客统计排行。运行之后可以使用redis-cli和keys *的命令检查当前redis库中是否存在上述键,如果没有看到,可以尝试重新启动Web服务。

    2018-09-15-20-33-53.png

这里我写入redis缓存是被动写入。需要打开前端页面触发该行为,一小时后缓存内容自动消失,仍需要重新加载。所以打开页面正好需要写入缓存时,该页面打开速度相对慢一点。有了缓存之后,后面打开速度还是有不少改善。为了解决缓存自动消失的bug,还需要加入celery定时调度任务,我会在下篇内容进行更新。

打赏 蒋振飞

取消

感谢您的支持,我会继续努力的!

扫码支持
一分也是爱     一块不嫌多

点击 支付宝 或 微信 打赏蒋振飞

打开支付宝扫一扫,即可进行扫码打赏哦

评论列表