Redis初识

设置与运用

具体运用:

  • 服务端启动:将下令 redis-server.exe
    redis.windows.conf 写入 .bat 文件,直接运行 StartWithConf.bat 启动服务端;
  • 客户端启动:直接运行 redis-cli.exe 即可;

    redis.windows.conf:配置文件
    redis-benchmark.exe:Redis读写性能测试工具
    redis-check-aof.exe:aof修复检查日志
    redis-check-dump.exe:dump检查数据库文件
    redis-cli.exe:Redis客户端程序
    redis-server.exe:Redis服务器程序
    StartWithConf.bat:启动Redis

安排文件

redis.windows.conf

Redis服务端的周转参数全体靠配置文件贯彻,此处详细介绍Redis配置文件的多少个根本参数:

network

  • bind 127.0.0.1:绑定地址(外网连接:0.0.0.0)  
  • port 6379:默认绑定本机的6379端口;
  • timeout:连接超时时间(秒)
  • requirepass pass:配置redis连接认证密码

general

  • loglevel
    debug/notice/warning/verbose:日志级别(开发测试/生产条件/只记录警告错误音讯/详细音讯)
  • logfile
    ./Logs/redis_log.txt:日志文件保留路径
  • databases 16:数据库数量,默认0

snapshotting

  • save TimeInterval ChangeCnt

append only mode

  • appendonly yes:开启命令日志格局;

limits

  • maxclients 64:最奥斯汀接数,0为不限制
  • maxmemory <bytes>:内存清理临界值
  • maxmemory-policy
    volatile-lru:内存清理拔取的默认策略,对设置过期时间的key举办LRU算法删除

劳动命令

ping:启动服务连接情况
info:查看server/client配置信息
info commandstats + config resetstat:显示/清除名次调用统计信息
config get/set:获取/设置配信息
flushdb/flushall:删除当前所选/所有数据库中的所有key
save/bgsave:数据保存到硬盘/异步保存
lastsave: 上次成功保存到磁盘的unix时间戳
dbsize:查看所有key的数目 
get/set和mget/mset:获取/设置键
incr/decr和incrby/decrby:自增/自减
exists/type key:键key是否存在/键类型
expire key secondTime:设置键的过期时间
rename oldKey newKey:重命名
ttl key:键key的剩余存活时间
select db_index:选择数据库
move key db_index:将键key移动到指定数据库

基本概念

Redis是优异的NoSQL数据库服务器,其License是Apache
License、完全免费。首先看下内存数据库的基本概念:

内存数据库

In-Memory DataBase,以内存为根本存储介质的多少库.

  • 怀有的表及索引在内存中、消除I/O瓶颈,为访问内存设计最佳访问方法和目录情势,读写速度快、性能好;
  • 内存数据库的容量大小受物理内存的限制;
  • 安全性问题是硬伤,帮忙遵照政策与磁盘数据库举办数据同步,以及数据库的可靠性復苏机制;

Redis

REmote DIctionary Server(远程字典服务),远程内存数据库(Memory Database + Data Structure
Server),开源的拔取ANSI-C语言编写、辅助网络、可遵照内存亦可持久化的日志型、高性能的key-value数据库,Redis不预约义且不应用表,适应高并发、海量数据存储场景。

  • A persistent key-value database with built-in net interface
    written in ANSI-C for Posix systems.
  • Redis is an open source, BSD licensed, advanced key-value cache
    and store.

上面是Redis补助的5种档次数据结构的里边图解(图一):

图片 1

redisObject对象是Redis内部的为主目的,用于表示所有的key和value。

typedef struct redisObject {
    unsigned type:4;  // 数据类型
    unsigned encoding:4;  // 编码方式
    unsigned lru:REDIS_LRU_BITS;   /* lru time (relative to server.lruclock) */
    int refcount;   // 对象的引用计数
    void *ptr;   // 指向真正的存储结构
} robj;

其中,REDIS_LRU_BITS表示当内存超限时行使LRU算法清除内存中的目标。redisObject对象的创办在object.c文件中:

robj *createObject(int type, void *ptr) {
    robj *o = zmalloc(sizeof(*o));
    o->type = type;
    o->encoding = OBJ_ENCODING_RAW;
    o->ptr = ptr;
    o->refcount = 1;

    /* Set the LRU to the current lruclock (minutes resolution). */
    o->lru = LRU_CLOCK();
    return o;
}    

Redis的键类型为string,值类型帮忙:

  •  字符串:string
  •  列表:list
  •  集合:set
  •  有序集合:zset (SortedSet)
  •  散列:hash

具体内存结构示意图(图二):

图片 2

参考:Redis数据库入门教程; Redis学习笔记

特点

  • 全体多少In-Momory,作为Memcached的替代者;
  • key-value存储系统(Key:数据检索的绝无仅有标识、Value:数据存储的最重要对象),辅助多类别型的value(数据结构服务器);
  • redis的起源是cache,缓存,高速缓存;
  • 多少存储于内存中或被布置为利用虚拟内存;
  • 持久化特性(Persistence):可以持久化到磁盘(周期性把立异数据写入磁盘或把修改操作追加写入记录文件);
  • 主从复制特性(Master/Slave
    Replication):负载均衡,增添读性能;
  • 客户端分片(Client-Side
    Sharding):数据划分为五个部分,扩展写性能,线性级此外性能提高;
  • 扶助各样不同方法的排序;
  • 支撑简单的作业(仅实现一回性执行多条命令的意义,不匡助回滚);
  • 协助设置数据过期时间;

内存优化

  • string和数字:Redis内部维护一个数字池,可以节省存储空间,默认 REDIS_SHARED_INTEGERS = 10000 
  • 复杂类型的蕴藏优化:Redis内部采纳紧凑格式存储数据(适合集合包含的Entry不多并且每个Entry包含的Value不是很长的动静),遍历复杂度下降为O(n)、但节省存储空间。以ZIPMap的数据结构为例:

  图片 3

 
其中,字段free用于冗余空间,空间换时间、一定意况下防止插入操作引起的扩容操作。

  • list、set、hash接纳分外规编码,优化存储空间;
  • byte、bit级其它操作:getrange/setrange、getbit/setbit以及bitmap高效存储;

Redis .vs.
Memcached

  • 互相均是高性能键值缓存服务器,Memcached只提供数据缓存服务,Redis提供数据缓存和持久化;
  • Memcached:多线程服务器;Redis:单线程服务器,部分性能通过多线程实现;
  • Memcached只扶助一般字符串键;Redis提供丰裕的数据存储结构,同时匡助主数据库(Primary
    Database)+ 扶助数据库(Auxiliary Database)使用;
  • Memcached:预分配内存池格局,Redis:现场申请内存的办法存储数据、且能够安排虚拟内存

数据类型

string

图片 4

list

双向链表、允许再一次,帮助lpush/rpush和lpop/rpop;实现音信队列等;

图片 5

set

不容许再度,内部是哈希表实现、查找/删除/插入均O(1); 集合提供SINTER、SUNION、SDIFF分别协理交集、并集、差集操作。

图片 6

hash

键值对(父键+子键:值)。存储键key的两个属性数据,完全可以用Json格式存储、直接当做string类型操作,但对性能有震慑,所以Redis提议Hash类型。

图片 7 

如下,图一是惯常的key/value结构,需要封装一个对象保存value的音信;图二是Redis的Hash类型:

图片 8

zset

以不变应万变键值对(父键+成员:分值),键值对实际是成员和分值(Member-Score)的照射关系(字符串成员member与浮点数分值score之间的雷打不动映射,按分值大小排序),分值必须为浮点数; 既能够依据成员访问元素(同散列),又有何不可按照分值按序访问元素结构。

图片 9

持久化

内存提供主存储辅助、硬盘作持久性存储。默认开启RDB模式,默认优先加载AOF文件。一回性将数据加载到内存中,五次性预热。

问题:当服务器被关门时,服务器内存存储的数量将何去何从?

RDB .vs. AOF

  • RDB格局二进制格局存储数据,文件较小且格式紧凑(RDB文件的存储格式和Redis数据在内存中的编码格式一致)、加载速度快;AOF形式文本文件扩展写操作命令,文件较大、音信冗余,加载速度慢,但rewrite命令会压缩aof文件;
  • RDB格局按部署的save策略实现定期批量数码存储、效用相对较高;AOF模式准实时日志记录、效能相对较低;
  • 相比较RDB情势,AOF形式可靠性较高、最少的数额丢失和较高的数据恢复生机能力;

不重启Redis从RDB情势切换来AOF格局

redis-cli> config set appendonly yes:启用AOF
redis-cli> config set save "":关闭RDB

参考:Redis数据持久化; Redis作者:深度剖析Redis持久化

RDB

半持久化形式(快照模式:File-Snap-Shotting,即时间点转储:Point-in-提姆(Tim)e Dump),Redis
DataBase
,将数据先存储在内存,当直接调用save/bgsave命令时或数量修改满意设置的save条件时触发bgsave操作,将内存数据一次性写入RDB文件。相比较符合灾难復苏(Disaster
Recovery),若Redis很是crash,目前的多寡会丢掉。

rdbcompression yes:创建快照时对数据进行压缩  
dbfilename dump.rdb:快照名称
dir ./saveFile/:快照保存路径(AOF文件存放目录)

原理Copy-on-Write(写时复制)技术

  • Redis forks;
  • 子进程将数据写到临时RDB文件中;
  • 当子进程完成写RDB文件,用新文件替换旧文件;

该原理保证其他时候复制RDB文件都是纯属安全的。

AOF

全持久化格局(日志格局),Append-Only-File,将数据存在内存,同时调用fsync将这次写操作命令举行日志记录到aof文件,基于Redis网络交互协议的由Redis标准命令组成的可识其余纯文本文件,只同意扩展不同意改写。

写策略:默认并援引 appendfsync everysec ,速度和防城港兼顾。

  • appendfsync always:每提交一个改动命令调用fsync刷新到AOF文件,万分慢、但异常安全;
  • appendfsync everysec:每秒调用fsync刷新到AOF文件,很快、但或许会丢掉一秒之内的数据;
  • appendfsync no:依靠OS被动刷新、redis不主动刷新AOF,最快、但安全性差;

AOF最首要的配备就是关于调用fsync追加日志文件持久化数据的效能。磁盘空间满、断电等情事不会影响日志的完整性和可用性。

保存:支持2种方式

  • 调用flushaofbuf,把aof_buf中的命令写入aof文件,再清空aof_buf,进入下一遍loop;

    sds aof_buf; / AOF buffer, written before entering the event loop /

  • aof_rewrite:依据现有的数据库数据反向生成命令,然后把命令写入aof文件中;

加载

fakeClient = createFakeClient();   // 创建伪客户端
while(命令不为空) {
   // 获取一条命令的参数信息 argc, argv
      . . . 
   // 执行
   fakeClient->argc = argc;
   fakeClient->argv = argv;
   cmd->proc(fakeClient);
}

AOF重写

bgrewriteAOF,重新生成一份AOF文件,新的AOF文件只含有对相同个值的一再操作的终极一条记下(可以过来数据的细小指令集),过程和RDB类似(Copy-on-Write机制):

  • fork一个子经过,间接遍历旧的AOF文件,将数据写入新的AOF临时文件;
  • 在写新文件过程中,所有的新的写操作日志记录在内存缓冲区中、同时会写入到原有的AOF文件中;
  • 形成写新文件操作后,发出信号通知父进程将内存缓冲区中的写指令一回性追加到临时AOF文件中;
  • 日增完毕,Redis将暂时AOF文件作为新AOF文件替代旧AOF文件(调用原子性的rename命令用新的AOF文件替代老的AOF文件); 

当同时满意以下2个规格时触发rewrite操作:

auto-aof-rewrite-percentage 100  // 当前写入日志文件的大小占到初始日志文件大小的某个百分比时触发rewrite
auto-aof-rewrite-min-size 64mb   // 本次Rewrite最小的写入数据量

专注,bgrewriteaof和bgsave无法同时推行,避免五个Redis后台过程同时对磁盘举办大量的I/O操作。

修复

Redis提供 redis-check-aof.exe 工具补助日志修复效益:

  • 备份坏的AOF文件;
  • 运行redis-check-aof
    –fix修复坏的AOF文件;
  • 用diff
    -u比较多少个文本的距离,确认问题点;
  • 重启Redis,加载修复后的AOF文件;

中央机制

master-slave,为了进步持久化机制,在持久化基础上Redis提供复制功用:将一个主服务器(master)数据自动同步到六个从服务器(slave),实现基本同步:

  • 纯粹的冗余备份
  • 提拔读性能

具体地:

  • 启动从服务器,先向主服务器发送SYNC命令;
  • 主服务器收到SYNC命令后fork子进程始起保存快照,期间所有发给主服务器的命令都会被缓存到内存;
  • 快照保存完成后,主服务器把快照和缓存的授命全部发送给从服务器;

  • 从服务器保存收到的快照文件并加载到内存中,然后逐一执行收到的缓存命令;

在大旨同步过程中(异步实现),从服务器不会阻塞,期间默认使用同步从前的数据继续响应客户端命令。主从机制援助增量同步策略,降低连接断开的复苏资本。

具体运用中常见是:Redis+MySQL

图片 10

颁发订阅机制

publish-subscribe,观望者情势,订阅者(Subscriber)订阅频道(Channel),发表者(Publisher)将音讯发到指定频道(Channel),通过这种方法将信息的发送者和接收者解耦,能够实现六个浏览器之间的消息同步和实时更新。

图片 11

  • 新闻的传递是多对多的;
  • 补助形式匹配;
  • 运转平稳、迅速;

    publish myChannel “xxx”:发表
    subscribe myChannel:订阅
    unsubscribe myChannel:撤除订阅

Redis的Pub/Sub形式允许动态的Subscribe/Unsubscribe,提升系统的灵活性和可扩充性。  

其他

排序

问题:数据库匡助排序,为啥要把排序功用放在缓存中落实?

  • 排序会增多数据库的负载,难以支撑高并发的利用;
  • 在缓存中排序不会遇上表锁定的题目;

    sort key [BY pattern] [LIMIT offset cnt] [GET pattern [GET pattern …]] [asc | desc] [ALPHA] [STORE destination]

  • by:即order by,指定排序字段,by
    *->子键名;

  • limit:限制排序后回来元素的数据,表示跳过前offset个因素、再次来到之后的接连cnt个要素,可以实现分页功用;
  • get:再次来到指定的字段值,get
    *->子键名;
  • store:将排序结果存入指定地点;  

事务

Transaction。

  • multi:原子操作,文告Redis,接下去的多少指令属于同一业务;
  • 输入若干下令,存储在命令队列中而不会被当下执行;
  • exec:原子操作,通知Redis,属于同一业务的拥有命令输入完成,起初进行工作;

管道

pipilining,允许Redis一回性接收两个指令、执行后一遍性再次回到结果,减弱客户端与Redis服务器的通信次数、降低往返时延。类似事情,通过原子操作multi/exec完成。

先期级队列

blpop/brpop。

使用场景

率先,将Redis与SQL Server/MySQL等相比较一下:

  • Redis的持久化是外加效用,且其flushdb、flushall命令会直接清空数据库,
    SQL Server/MySQL的持久化是主导职能;
  • Redis全量持久数据从内存到磁盘、大数量下影响属性,SQL
    Server/MySQL增量持久化被涂改的数额;

利用场景

 - 在主页中显示最新的项目列表;
 - 删除和过滤:lrem;
 - 排行榜(Leader Board)及相关问题;
 - 按照用户投票和时间排序;
 - 过期项目处理:unix时间作为得分;
 - 计数(Counting Stuff):INCR,DECR命令构建计数器系统;
 - 特定时间内的特定项目:Redis特色特性;
 - 实时分析正在发生的情况,用于数据统计与防止垃圾邮件等;
 - Pub/Sub:发布订阅机制;
 - 队列(Priority Queue);
 - 缓存(Caching);  

然后提交使用Redis中的几点注意事项:

  • keys * —>  scan
  • 提出利用hash
  • expire设置key的并存时间 + volatile-lru策略;
  • Redis所在机械物理内存使用最好不用跨越实际内存总量的3/5;

以及经过翻阅 ALCA in
Redis-land
 得到的提出:

图片 12

参考:Redis应用场景; Redis作者谈Redis应用场景; Redis应用提议

Redis for C#

初识Redis时接触到的.Net-Redis组件是ServiceStack.Redis,其V3类别的新颖版本是:ServiceStack.Redis.3.9.29.0

ServiceStack.Redis

ServiceStack.Common.dll
ServiceStack.Interfaces.dll
ServiceStack.Redis.dll
ServiceStack.Text.dll

明白RedisClient类的实际消息:

  • 基本操作

    public void Init();
    public bool ContainsKey(string key);
    public bool Remove(string key);
    public void RemoveByPattern(string pattern);
    public void RemoveByRegex(string pattern);
    public IEnumerable GetKeysByPattern(string pattern);
    public List SearchKeys(string pattern);
    public List GetAllKeys(); // 数据库内的所有键(慎用)
    public string GetRandomKey();
    public T Get(string key);
    public IRedisTypedClient As(); // / 重要 /
    public bool Add(string key, T value [, DateTime expiresAt]); // [设置过期时间]
    public bool Add(string key, T value [, TimeSpan expiresIn]);
    public bool Set(string key, T value [, DateTime expiresAt]); // [设置过期时间]
    public bool Set(string key, T value [, 提姆(Tim)eSpan expiresIn]);
    public bool ExpireEntryAt(string key, Date提姆(Tim)e expireAt); // 设置过期时间
    public bool ExpireEntryIn(string key, 提姆eSpan expireIn);
    public 提姆eSpan Get提姆(Tim)eToLive(string key); // TTL时间
    public long DecrementValue(string key); // 减
    public long DecrementValueBy(string key, int count);
    public long IncrementValue(string key); // 增
    public long IncrementValueBy(string key, int count);

  • string

    public long GetStringCount(string key);
    public string GetValue(string key);
    public void SetValue(string key, string value [, TimeSpan expireIn]);
    public void RenameKey(string fromName, string toName);
    public int AppendToValue(string key, string value);
    public string GetAndSetValue(string key, string value);
    public string GetSubstring(string key, int fromIndex, int toIndex);
    public List GetValues(List keys);
    public Dictionary GetValuesMap(List keys);

  • List  

    // 基本操作
    public int GetListCount(string listId);
    public int RemoveItemFromList(string listId, string value);
    public string RemoveStart/End/AllFromList(string listId);
    public void SetItemInList(string listId, int listIndex, string value);
    public void AddItemToList(string listId, string value);
    public void AddRangeToList(string listId, List values);
    public List GetAllItemsFromList(string listId);
    public string GetItemFromList(string listId, int listIndex);
    public List GetRangeFromList(string listId, int startingFrom, int endingAt);
    public List GetRangeFromSortedList(string listId, int startingFrom, int endingAt);
    public List GetSortedItemsFromList(string listId, SortOptions sortOptions);
    public List GetValues(List keys);
    public Dictionary GetValuesMap(List keys);
    // List作为队列
    public void EnqueueItemOnList(string listId, string value);
    public string DequeueItemFromList(string listId);
    // List作为栈
    public void PushItemToList(string listId, string value);
    public string PopItemFromList(string listId);
    public string PopAndPushItemBetweenLists(string fromListId, string toListId);

  • Set

    public int GetSetCount(string setId);
    public bool SetContainsItem(string setId, string item);
    public void RemoveItemFromSet(string setId, string item);
    public void AddItemToSet(string setId, string item);
    public void AddRangeToSet(string setId, List items);
    public HashSet GetAllItemsFromSet(string setId);
    public string GetRandomItemFromSet(string setId);
    public List GetSortedEntryValues(string setId, int startingFrom, int endingAt);
    public HashSet GetDifferencesFromSet(string fromSetId, params string[] withSetIds);
    public HashSet GetIntersectFromSets(params string[] setIds);
    public HashSet GetUnionFromSets(params string[] setIds);
    public void StoreDifferencesFromSet(string intoSetId, string fromSetId, params string[] withSetIds);
    public void StoreIntersectFromSets(string intoSetId, params string[] setIds);
    public void StoreUnionFromSets(string intoSetId, params string[] setIds);
    public void MoveBetweenSets(string fromSetId, string toSetId, string item);
    public string PopItemFromSet(string setId); 

  • Hash

    public int GetHashCount(string hashId);
    public bool HashContainsEntry(string hashId, string key);
    public bool RemoveEntryFromHash(string hashId, string key);
    public bool SetEntryInHash(string hashId, string key, string value);
    public List GetHashKeys(string hashId);
    public List GetHashValues(string hashId);
    public Dictionary GetAllEntriesFromHash(string hashId);
    public string GetValueFromHash(string hashId, string key);
    public List GetValuesFromHash(string hashId, params string[] keys);
    public T GetFromHash(object id);

  • SortedSet(zset)

    public int GetSortedSetCount(string setId);
    public bool SortedSetContainsItem(string setId, string value);
    public bool RemoveItemFromSortedSet(string setId, string value);
    public bool AddItemToSortedSet(string setId, string value [, double score]);
    public bool AddRangeToSortedSet(string setId, List values [, double score]);
    public List GetRangeFromSortedSet(string setId, int fromRank, int toRank);
    public IDictionary GetRangeWithScoresFromSortedSet(string setId, int fromRank, int toRank);
    public List GetAllItemsFromSortedSetDesc;
    public IDictionary GetAllWithScoresFromSortedSet(string setId);

里头,方法 public IRedisTypedClient<T>
As<T>(); 搭配接口 public interface
IRedisTypedClient<T> : IEntityStore<T>{} 和
public interface IEntityStore<T>{}
中提供的主意可以形成各个操作。

在V3.0版本的功底上,其V4.0版本 ServiceStack.Redis-4.0.52 提供了更多的不二法门:

  • Scan方法;
  • 获取设置配置音信;
  • 支持Lua脚本; 

    public RedisText Custom(params object[] cmdWithArgs); // 执行命令
    public RedisClient CloneClient();
    public string GetClient();
    public void SetClient(string name);
    public void KillClient(string address);
    public void ChangeDb(long db);
    public Date提姆e GetServer提姆e();
    public Date提姆(Tim)e ConvertToServerDate(Date提姆e expiresAt);
    public List> GetClientsInfo();
    public string GetConfig(string configItem);
    public void SetConfig(string configItem, string value);
    public void SaveConfig();
    public void ResetInfoStats();

其中,Custom()方法可以举行绝大多数的Redis命令,Service(Service)Stack.Redis.Commands概念命令,用于Custom()方法的首先个参数:

public static class Commands{   
        public static readonly byte[] CommandName;
}   

参考

StackExchange.Redis

出于ServiceStack.Redis的V4.0版本商业化最先收费,推荐应用:StackExchange.Redis

StackExchange.Redis是专为.Net/C#的Redis客户端API,近期被StackOverFlow使用、微软官方RedisSessionStateProvider也运用StackExchange.Redis实现。

StackExchange.Redis的核心是ConnectionMultiplexer类(线程安全),在命名空间StackExchange.Redis中定义,封装了Redis服务的操作细节,该类的实例被全体应用程序域共享和任用。

ConnectionMultiplexer redisClient = ConnectionMultiplexer.Connect("localhost");
IDatabase db = redisClient .GetDatabase();

其基础和接纳待学习…

参考

 


参考