Redis主从结构备忘
redis的主从复制配置
http://www.cnblogs.com/weafer/archive/2011/09/20/2182750.html
Redis 设计与实现
https://redisbook.readthedocs.org/en/latest/
以前有想过用 Memcache 实现M/S架构的负载均衡方案，直到听说了 Redis 后才发现它做得更好。
发了几天时间研究了一下 Redis ，感觉真的很不错，特整理一下！
以下操作都是在 SUSE Linux 11 下安装了好了PHP为例子，如果安装过程中有提示缺少的包可以使用
zypper search rpm-name 进行查询，然后用 zypper install rpm-name 安装
一：memcache 和 Redis 对比总结
[memecache 特点]
1:速度最快(没有自测，但网上有详细的测试用例)
2:支持水平扩展，可以任意添加节点
[redis 特点]
1:速度没有memcache快
2:支持M/S的主从备份
3:可以支持多数据库
4:操作指令很丰富
4:支持异步数据持久化(以文件保存)
总结:
1：如果是简单的数据缓存建议使用MEMCACHE。
2：如果要对单一操作的数据量非常的大则使用MEMCACHE
3: 如果想做性能很好的缓存集群可以用Redis(M/S读写分离,如weibo中的排行榜等)
4: 如果在高并发下又想保存数据则可以用Redis (如更新热门文章浏览次数,memcachedb也不错)
二：Redis 的详细安装,
将 redis 安装到 /usr/local/webserver/redis
1:从 http://redis.io/download 上下载安装包
[shell]
wget http://redis.googlecode.com/files/redis-2.2.15.tar.gz
tar zxvf redis-2.2.15.tar.gz
cd redis-2.2.15
make
mkdir -p /usr/local/webserver/redis/conf
mkdir -p /usr/local/webserver/redis/run
mkdir -p /usr/local/webserver/redis/db
cp redis.conf /usr/local/webserver/redis/conf/
cd src
# 将 src 目录下所有可执行文件复制到安装目录
cp redis-benchmark redis-check-aof redis-check-dump redis-cli redis-server mkreleasehdr.sh /usr/local/webserver/redis/
[/shell]
2:修改配置文件中的如下选项
——- vi /usr/local/webserver/redis/conf/redis.conf ——–
daemonize yes
pidfile /usr/local/webserver/redis/run/redis.pid
dir /usr/local/webserver/redis/db
————————————————————–
3:创建服务脚本
——- vi /usr/local/webserver/redis/start.sh ———
#!/bin/bash
/usr/local/webserver/redis/redis-server /usr/local/webserver/redis/conf/redis.conf
——————————————————–
——- vi /usr/local/webserver/redis/stop.sh ———
#!/bin/bash
kill `cat /usr/local/webserver/redis/run/redis.pid`
——————————————————–
chmod a+x /usr/local/webserver/redis/start.sh /usr/local/webserver/redis/stop.sh
4:启动 redis 服务
/usr/local/webserver/redis/start.sh
验证证服务是否成功:
netstat -nlpt | grep 6379
5：启动客户端验证
/usr/local/webserver/redis/redis-cli
>set key1 val1
>get key1
三:Redis Master/Slave 主从集群配置
这里我们以本机配置 1台Master + 2台Slave 为例子,其中:
Master IP:127.0.0.1 PORT:6379
Slave1 IP:127.0.0.1 PORT:63791
Slave2 IP:127.0.0.1 PORT:63792
1:复制两个 Slave 目录，方便管理
cp -r /usr/local/webserver/redis /usr/local/webserver/redis-slave1
cp -r /usr/local/webserver/redis /usr/local/webserver/redis-slave2
2:修改 redis-slave1 的配置文件和服务脚本
— vi /usr/local/webserver/redis-slave1/conf/redis.conf —
port 63791
pidfile /usr/local/webserver/redis-slave1/run/redis.pid
dir /usr/local/webserver/redis-slave1/db
slaveof 127.0.0.1 6379
———————————————————-
— vi /usr/local/webserver/redis-slave1/start.sh —
#!/bin/bash
/usr/local/webserver/redis-slave1/redis-server /usr/local/webserver/redis-slave1/conf/redis.conf
—————————————————
——- vi /usr/local/webserver/redis-slave1/stop.sh ———
#!/bin/bash
kill `cat /usr/local/webserver/redis-slave1/run/redis.pid`
——————————————————–
3:修改 redis-slave2 的配置文件和服务脚本
— vi /usr/local/webserver/redis-slave2/conf/redis.conf —
port 63792
pidfile /usr/local/webserver/redis-slave2/run/redis.pid
dir /usr/local/webserver/redis-slave2/db
slaveof 127.0.0.1 6379
———————————————————-
— vi /usr/local/webserver/redis-slave2/start.sh —
#!/bin/bash
/usr/local/webserver/redis-slave2/redis-server /usr/local/webserver/redis-slave2/conf/redis.conf
—————————————————
——- vi /usr/local/webserver/redis-slave2/stop.sh ———
#!/bin/bash
kill `cat /usr/local/webserver/redis-slave2/run/redis.pid`
——————————————————–
4:启动 M/S 服务
/usr/local/webserver/redis/start.sh
/usr/local/webserver/redis-slave1/start.sh
/usr/local/webserver/redis-slave2/start.sh
验证服务是否正常: netstat -nlpt | grep redis-server 有3个端口存在证明成功了
0 0.0.0.0:6379
0 0.0.0.0:63791
0 0.0.0.0:63792
5:验证M/S服务是否生效
/usr/local/webserver/redis/redis-cli [默认连接端口:6379 的 Master服务]
>set key1 val1
>quit
/usr/local/webserver/redis/redis-cli -p 63791 [连接 Slave1 服务]
>get key1
“val1” (数据成功同步了)
/usr/local/webserver/redis/redis-cli -p 63792 [连接 Slave2 服务]
>get key1
“val1” (数据成功同步了)
四：安装 Redis PHP 扩展
Redis所有的客户端在 http://redis.io/clients [PHP选项卡] 基于性能选择安装 phpredis
在 https://github.com/nicolasff/phpredis/downloads 上下载源代码包到本地然后上传到服务器.
tar zxvf nicolasff-phpredis-2.1.3-167-ga5e53f1.tar.gz
cd nicolasff-phpredis-a5e53f1
phpize
./configure
make && make install
查看输出信息会告诉你 redis.so 的那个目录下，把它复制到PHP的扩展目录下
我的系统上是 /usr/lib/php5/extensions/
用 php –ini 找到 php.ini 的位置，加入以下行后重启WEB服务器
=========================
extension=redis.so
=========================
五：PHP负载开发方案
[php]
<?php
/**
* Redis 操作，支持 Master/Slave 的负载集群
*
* @author V哥
*/
class RedisCluster{
// 是否使用 M/S 的读写集群方案
private $_isUseCluster = false;
// Slave 句柄标记
private $_sn = 0;
// 服务器连接句柄
private $_linkHandle = array(
‘master’=>null,// 只支持一台 Master
‘slave’=>array(),// 可以有多台 Slave
);
/**
* 构造函数
*
* @param boolean $isUseCluster 是否采用 M/S 方案
*/
public function __construct($isUseCluster=false){
$this->_isUseCluster = $isUseCluster;
}
/**
* 连接服务器,注意：这里使用长连接，提高效率，但不会自动关闭
*
* @param array $config Redis服务器配置
* @param boolean $isMaster 当前添加的服务器是否为 Master 服务器
* @return boolean
*/
public function connect($config=array(‘host’=>’127.0.0.1’,’port’=>6379), $isMaster=true){
// default port
if(!isset($config[‘port’])){
$config[‘port’] = 6379;
}
// 设置 Master 连接
if($isMaster){
$this->_linkHandle[‘master’] = new Redis();
$ret = $this->_linkHandle[‘master’]->pconnect($config[‘host’],$config[‘port’]);
}else{
// 多个 Slave 连接
$this->_linkHandle[‘slave’][$this->_sn] = new Redis();
$ret = $this->_linkHandle[‘slave’][$this->_sn]->pconnect($config[‘host’],$config[‘port’]);
++$this->_sn;
}
return $ret;
}
/**
* 关闭连接
*
* @param int $flag 关闭选择 0:关闭 Master 1:关闭 Slave 2:关闭所有
* @return boolean
*/
public function close($flag=2){
switch($flag){
// 关闭 Master
case 0:
$this->getRedis()->close();
break;
// 关闭 Slave
case 1:
for($i=0; $i<$this->_sn; ++$i){
$this->_linkHandle[‘slave’][$i]->close();
}
break;
// 关闭所有
case 1:
$this->getRedis()->close();
for($i=0; $i<$this->_sn; ++$i){
$this->_linkHandle[‘slave’][$i]->close();
}
break;
}
return true;
}
/**
* 得到 Redis 原始对象可以有更多的操作
*
* @param boolean $isMaster 返回服务器的类型 true:返回Master false:返回Slave
* @param boolean $slaveOne 返回的Slave选择 true:负载均衡随机返回一个Slave选择 false:返回所有的Slave选择
* @return redis object
*/
public function getRedis($isMaster=true,$slaveOne=true){
// 只返回 Master
if($isMaster){
return $this->_linkHandle[‘master’];
}else{
return $slaveOne ? $this->_getSlaveRedis() : $this->_linkHandle[‘slave’];
}
}
/**
* 写缓存
*
* @param string $key 组存KEY
* @param string $value 缓存值
* @param int $expire 过期时间， 0:表示无过期时间
*/
public function set($key, $value, $expire=0){
// 永不超时
if($expire == 0){
$ret = $this->getRedis()->set($key, $value);
}else{
$ret = $this->getRedis()->setex($key, $expire, $value);
}
return $ret;
}
/**
* 读缓存
*
* @param string $key 缓存KEY,支持一次取多个 $key = array(‘key1′,’key2’)
* @return string || boolean 失败返回 false, 成功返回字符串
*/
public function get($key){
// 是否一次取多个值
$func = is_array($key) ? ‘mGet’ : ‘get’;
// 没有使用M/S
if(! $this->_isUseCluster){
return $this->getRedis()->{$func}($key);
}
// 使用了 M/S
return $this->_getSlaveRedis()->{$func}($key);
}
/**
* 条件形式设置缓存，如果 key 不存时就设置，存在时设置失败
*
* @param string $key 缓存KEY
* @param string $value 缓存值
* @return boolean
*/
public function setnx($key, $value){
return $this->getRedis()->setnx($key, $value);
}
/**
* 删除缓存
*
* @param string || array $key 缓存KEY，支持单个健:"key1" 或多个健:array(‘key1′,’key2’)
* @return int 删除的健的数量
*/
public function remove($key){
// $key => "key1" || array(‘key1′,’key2’)
return $this->getRedis()->delete($key);
}
/**
* 值加加操作,类似 ++$i ,如果 key 不存在时自动设置为 0 后进行加加操作
*
* @param string $key 缓存KEY
* @param int $default 操作时的默认值
* @return int 操作后的值
*/
public function incr($key,$default=1){
if($default == 1){
return $this->getRedis()->incr($key);
}else{
return $this->getRedis()->incrBy($key, $default);
}
}
/**
* 值减减操作,类似 –$i ,如果 key 不存在时自动设置为 0 后进行减减操作
*
* @param string $key 缓存KEY
* @param int $default 操作时的默认值
* @return int 操作后的值
*/
public function decr($key,$default=1){
if($default == 1){
return $this->getRedis()->decr($key);
}else{
return $this->getRedis()->decrBy($key, $default);
}
}
/**
* 添空当前数据库
*
* @return boolean
*/
public function clear(){
return $this->getRedis()->flushDB();
}
/* =================== 以下私有方法 =================== */
/**
* 随机 HASH 得到 Redis Slave 服务器句柄
*
* @return redis object
*/
private function _getSlaveRedis(){
// 就一台 Slave 机直接返回
if($this->_sn <= 1){
return $this->_linkHandle[‘slave’][0];
}
// 随机 Hash 得到 Slave 的句柄
$hash = $this->_hashId(mt_rand(), $this->_sn);
return $this->_linkHandle[‘slave’][$hash];
}
/**
* 根据ID得到 hash 后 0～m-1 之间的值
*
* @param string $id
* @param int $m
* @return int
*/
private function _hashId($id,$m=10)
{
//把字符串K转换为 0～m-1 之间的一个值作为对应记录的散列地址
$k = md5($id);
$l = strlen($k);
$b = bin2hex($k);
$h = 0;
for($i=0;$i<$l;$i++)
{
//相加模式HASH
$h += substr($b,$i*2,2);
}
$hash = ($h*1)%$m;
return $hash;
}
}// End Class
[/php]
// ================= TEST DEMO =================
// 只有一台 Redis 的应用
$redis = new RedisCluster();
$redis->connect(array(‘host’=>’127.0.0.1’,’port’=>6379));
$redis->set(‘id’,35);
var_dump($redis->get(‘id’));
// 有一台 Master 和 多台Slave 的集群应用
$redis = new RedisCluster(true);
$redis->connect(array(‘host’=>’127.0.0.1’,’port’=>6379), true);// master
$redis->connect(array(‘host’=>’127.0.0.1’,’port’=>63791), false);// slave 1
$redis->connect(array(‘host’=>’127.0.0.1’,’port’=>63792), false);// slave 2
$redis->set(‘id’,100);
for($i=1; $i< =100; ++$i){
var_dump($redis->get(‘id’)).PHP_EOL;
}
// phpRedis 扩展的更多高级操作
$redis = new RedisCluster();
$redis->connect(array(‘host’=>’127.0.0.1’,’port’=>6379));
$ret = $redis->getRedis()->ping();// phpRedis 原始API
var_dump($ret);
[phpReadis API手册]
https://github.com/nicolasff/phpredis
[redis 配置说明–来自网络]
1. Redis默认不是以守护进程的方式运行，可以通过该配置项修改，使用yes启用守护进程
daemonize no
2. 当Redis以守护进程方式运行时，Redis默认会把pid写入/var/run/redis.pid文件，可以通过pidfile指定
pidfile /var/run/redis.pid
3. 指定Redis监听端口，默认端口为6379，作者在自己的一篇博文中解释了为什么选用6379作为默认端口，因为6379在手机按键上MERZ对应的号码，而MERZ取自意大利歌女Alessia Merz的名字
port 6379
4. 绑定的主机地址
bind 127.0.0.1
5.当 客户端闲置多长时间后关闭连接，如果指定为0，表示关闭该功能
timeout 300
6. 指定日志记录级别，Redis总共支持四个级别：debug、verbose、notice、warning，默认为verbose
loglevel verbose
7. 日志记录方式，默认为标准输出，如果配置Redis为守护进程方式运行，而这里又配置为日志记录方式为标准输出，则日志将会发送给/dev/null
logfile stdout
8. 设置数据库的数量，默认数据库为0，可以使用SELECT
databases 16
9. 指定在多长时间内，有多少次更新操作，就将数据同步到数据文件，可以多个条件配合
save
Redis默认配置文件中提供了三个条件：
save 900 1
save 300 10
save 60 10000
分别表示900秒（15分钟）内有1个更改，300秒（5分钟）内有10个更改以及60秒内有10000个更改。
10. 指定存储至本地数据库时是否压缩数据，默认为yes，Redis采用LZF压缩，如果为了节省CPU时间，可以关闭该选项，但会导致数据库文件变的巨大
rdbcompression yes
11. 指定本地数据库文件名，默认值为dump.rdb
dbfilename dump.rdb
12. 指定本地数据库存放目录
dir ./
13. 设置当本机为slav服务时，设置master服务的IP地址及端口，在Redis启动时，它会自动从master进行数据同步
slaveof
14. 当master服务设置了密码保护时，slav服务连接master的密码
masterauth
15. 设置Redis连接密码，如果配置了连接密码，客户端在连接Redis时需要通过AUTH
requirepass foobared
16. 设置同一时间最大客户端连接数，默认无限制，Redis可以同时打开的客户端连接数为Redis进程可以打开的最大文件描述符数，如果设置 maxclients 0，表示不作限制。当客户端连接数到达限制时，Redis会关闭新的连接并向客户端返回max number of clients reached错误信息
maxclients 128
17. 指定Redis最大内存限制，Redis在启动时会把数据加载到内存中，达到最大内存后，Redis会先尝试清除已到期或即将到期的Key，当此方法处理 后，仍然到达最大内存设置，将无法再进行写入操作，但仍然可以进行读取操作。Redis新的vm机制，会把Key存放内存，Value会存放在swap区
maxmemory
18. 指定是否在每次更新操作后进行日志记录，Redis在默认情况下是异步的把数据写入磁盘，如果不开启，可能会在断电时导致一段时间内的数据丢失。因为 redis本身同步数据文件是按上面save条件来同步的，所以有的数据会在一段时间内只存在于内存中。默认为no
appendonly no
19. 指定更新日志文件名，默认为appendonly.aof
appendfilename appendonly.aof
20. 指定更新日志条件，共有3个可选值：
no：表示等操作系统进行数据缓存同步到磁盘（快）
always：表示每次更新操作后手动调用fsync()将数据写到磁盘（慢，安全）
everysec：表示每秒同步一次（折衷，默认值）
appendfsync everysec
21. 指定是否启用虚拟内存机制，默认值为no，简单的介绍一下，VM机制将数据分页存放，由Redis将访问量较少的页即冷数据swap到磁盘上，访问多的页面由磁盘自动换出到内存中（在后面的文章我会仔细分析Redis的VM机制）
vm-enabled no
22. 虚拟内存文件路径，默认值为/tmp/redis.swap，不可多个Redis实例共享
vm-swap-file /tmp/redis.swap
23. 将所有大于vm-max-memory的数据存入虚拟内存,无论vm-max-memory设置多小,所有索引数据都是内存存储的(Redis的索引数据 就是keys),也就是说,当vm-max-memory设置为0的时候,其实是所有value都存在于磁盘。默认值为0
vm-max-memory 0
24. Redis swap文件分成了很多的page，一个对象可以保存在多个page上面，但一个page上不能被多个对象共享，vm-page-size是要根据存储的 数据大小来设定的，作者建议如果存储很多小对象，page大小最好设置为32或者64bytes；如果存储很大大对象，则可以使用更大的page，如果不 确定，就使用默认值
vm-page-size 32
25. 设置swap文件中的page数量，由于页表（一种表示页面空闲或使用的bitmap）是在放在内存中的，，在磁盘上每8个pages将消耗1byte的内存。
vm-pages 134217728
26. 设置访问swap文件的线程数,最好不要超过机器的核数,如果设置为0,那么所有对swap文件的操作都是串行的，可能会造成比较长时间的延迟。默认值为4
vm-max-threads 4
27. 设置在向客户端应答时，是否把较小的包合并为一个包发送，默认为开启
glueoutputbuf yes
28. 指定在超过一定的数量或者最大的元素超过某一临界值时，采用一种特殊的哈希算法
hash-max-zipmap-entries 64
hash-max-zipmap-value 512
29. 指定是否激活重置哈希，默认为开启（后面在介绍Redis的哈希算法时具体介绍）
activerehashing yes
30. 指定包含其它的配置文件，可以在同一主机上多个Redis实例之间使用同一份配置文件，而同时各个实例又拥有自己的特定配置文件
include /path/to/local.conf
主从环境的安全备份
前提：现在有主从结构，主库没有配置持久化，从库配置AOF。(主库用来备份和写服务，从库用来提供读服务)
场景：哪一天主库突然宕了，怎么办？
非常危险的动作：重新启动主库。
要知道这样一来，最坏情况数据将全部丢失。因为主库没有配置持久化，所以主库的data目录只有从库连接主库请求resync的时候做快照留下来的dump.rdb文件。如果重启主库，主库会按照data目录下的dump.rdb来恢复数据。因此，如果从库是从最开始就配置好了的而且没有发生过再次请求resync，那么此时的dump.rdb将是空的。主库按照空的dump.rdb恢复数据，自然数据全无，从库发现主库能够连接上时会自动请求resync,从库也将拷贝一份空白的数据。