memcached 缓存数据库应用实践
1.1 数据库对比
缓存： 将数据存储到内存中，只有当磁盘胜任不了的时候，才会启用缓存
缺点：断电数据丢失(双电)，用缓存存储数据的目的只是为了应付大并发的业务。
数据库： mysql(关系型数据库，能够保证数据一致性，保证数据不丢失，当因为功能太多，导致性能不高) ===数据参考
缓存数据库： memcache redis(非关系型数据库，性能极高，但不保证数据完整性) === 业务的数据提供者
** **memcachedb 会将内存的数据写入到磁盘中
redis 主要工作场所是内存中，但是定期备份内存数据到硬盘
1.1.1 数据库的选择
数据存储，数据仓库选择mysql这种磁盘的数据库
高并发，业务大的应用选择memcache这种内存数据库
1.1.2 数据库分类
关系型数据库 mysql
非关系型数据库（NOSQL） memcached redis MongoDB
1.2 memcached介绍
Memcached是一款开源的、高性能的纯内存缓存服务软件。Mem是内存的意思，cache是缓存的意思，d是daemon的意思。
memcache 是项目名称，也是一款软件，其架构是C/S架构。
memcached官网：http://memcached.org/
1.2.1 memcache优点
① 对于用户来讲，用户访问网站更快了，体验更好了。
②对网站来说，数据库压力降低了。只有当内存没有数据时才会去请求数据库。第一次写入的数据也会请求数据库。一般公司没有预热，只有当用户读取过数据库才会放到Memcached中。
② 提升了网站的并发访问，减少服务器数量。
1.3 Memcached在企业中使用场景
1.3.1 作为数据库的前端缓存应用
当数据库（mysql）承受不了大并发的请求时，可以将数据缓存到内存中（缓存数据库），然后就可以解决
作为数据库的前端缓存最大目的：减少数据库被大量访问的压力
1.3.2 作为集群后端的session会话保持
session存储在文件，数据库，memcache，或内存等的服务端上，
cookie 存放在客户端浏览器上。
session是一个存在服务器上的类似于一个散列表格的文件。里面存有我们需要的信息，在我们需要用的时候可以从里面取出来。
** session依赖cookie存在**，请求客户端到达服务端后，服务端会随机生成一个字符串，作为该用户的标识，该字符串通过cookie返回给客户端，客户端浏览器会以该字符串为key放到session id里面，随机字符串的key里面可以先没有值。如果用户再次提交，请求信息中的用户名密码等用户信息保存在随机字符串的value中，请求到达服务端，用户名密码正确，随机字符串会被授权，提一个标记给到sessionid中的随机字符串的value中，证明该用户已经是登录状态，客户端再次带着该随机字符串访问服务端，服务端会知道该用户已经登录不需验证，直接返回请求的信息。
session和cookie区别
1、cookie数据存放在用户的浏览器上，session数据存储在服务器上
2、cookie在本地的浏览器中，可以被提取分析，安全性差。为了安全，登录账户等信息可以缓存在session中。
3、session会在一定时间内保存在服务器上，访问量增大会给服务器带来压力，可以使用缓存工具，如memcache等
1.3.3 网站开发如何判断用户信息
最开始的技术方法：服务器在你的浏览器中写一个cookies，这个cookies就包含了你的用户名及登录信息。因为cookies是存储在本地浏览器中，所以第三方工具很容易盗取cookies信息。
最开始：
cookies cookies名字：内容（用户名，登录信息）
改进后：
本地浏览器存放：
cookies cookies名字：内容（session id 编号）
服务器存放：
session session id：内容（用户名，登录信息）
主流使用场景：cookies + session
1.3.4 session共享的不同解决方案
1、session文件提供NFS共享
2、session文件提供rsync scp共享
3、将session的内容存放在数据库（mysql）中，所有的机器都可以通过ip：port读取
4、将session的内容存放在缓存数据库中，所有的机器都可以通过ip：port读取
好处：利用断电、重启丢失数据的特性。定时清理数据；提高并发
1.3.5 memcache原理优点
启动Memcached吋，根据指定的内存大小参数，会被分配一个内存个间。当我们读取数据库的各类业务数据后，数据会同吋放入Memcached缓存中，，下一次用户请求同样的数据，程序直接去Memcached取数据返回给用户。
优点：
① 对于用户来讲，用户访问网站更快了，体验更好了。#
② 对网站来说，数据库压力降低了。只有当内存没有数据时才会去请求数据库。第一次写入的数据 也会请求数据库。一般公司没有预热，只有，用户读取过数据库才会放到Memcached中。
③ 提升了网站的并发访问，减少服务器数最。
1.4 Memcached分布式缓存集群
memcached天生不支持分布式集群,需要通过程序支持分布式存储
1.4.1 Memcached分布式缓存集群的特点
1. 所有MC服务器内存的内容都是不一样的。这些服务器内容加起来接近数据库的容量。比如1T的数据库，一台缓存数据库的内存没有那么大，因此分成10台缓存服务器。
2. 通过在客户端(Web)程序或者MC的负载均衡器上用HASH算法，让同一内容都分配到一个MC服务器。
3. 普通的HASH算法对于节点宕机会带来大量的数据流动(失效)，可能会引起雪崩效应。
4. 一致性HASH可以让节点宕机对节点的数据流动(失效)降到最低。
普通的hash****算法
首先将key处理为一个32位字符串，取前8位，在经过hash计算处理成整数并返回，然后映射到其中一台服务器这样得到其中一台服务器的配置，利用这个配置完成分布式部署。在服务器数量不发生变化的情况下，普通hash分布可以很好的运作，当服务器的数量发生变化，问题就来了。试想，增加一台服务器，同一个key经过hash之后，与服务器取模的结果和没增加之前的结果肯定不一样，这就导致了，之前保存的数据丢失。
一致性hash算法
一致性哈希算法
优点：在分布式的cache缓存中，其中一台宕机，迁移key效率最高
将服务器列表进行排序，根据mHash($key) 匹配相邻服务器
一致性hash****算法 将数据流动降到最低
第2章 memcached使用
2.1 安装memcached
2.1.1 环境说明
2.1.2 安装memcached
2.1.3 查看配置
2.1.4 查看启动脚本
[Service] Type=simple EnvironmentFile=-/etc/sysconfig/memcached ExecStart=/usr/bin/memcached -u $USER -p $PORT -m $CACHESIZE -c $MAXCONN $OPTIONS
[Install] WantedBy=multi-user.target
2.1.5 启动服务
2.2 管理memcached
2.2.1 memcached数据库语法格式
<command name> <key> <flags> <exptime> <bytes>\r\n
\n 换行且光标移至行首
\r 光标移至行首，但不换行
<td style="width: 395.45pt; border-top-width: 1pt; border-right-width: 1pt; border-bottom-width: 1pt; border-top-color: #4bacc6; border-right-color: #4bacc6; border-bottom-color: #4bacc6; border-left: none; background: #4bacc6; padding: 0cm 5.4pt;" width="527">
<p class="MsoNormal" style="text-align: justify; text-justify: inter-ideograph; mso-yfti-cnfc: 1;">
<strong><span style="font-family: '微软雅黑',sans-serif; mso-ascii-font-family: 'Courier New'; mso-hansi-font-family: 'Courier New'; color: white; mso-themecolor: background1;">说明</span></strong>
</p>
</td>
</tr>
<tr>
<td style="width: 127.35pt; border-right-width: 1pt; border-bottom-width: 1pt; border-left-width: 1pt; border-right-color: #92cddc; border-bottom-color: #92cddc; border-left-color: #92cddc; border-top: none; background: #daeef3; padding: 0cm 5.4pt;" width="170">
<p class="MsoNormal" style="text-align: justify; text-justify: inter-ideograph; mso-yfti-cnfc: 68;">
<strong><span lang="EN-US"><flags></span></strong>
</p>
</td>
<td style="width: 395.45pt; border-top: none; border-left: none; border-bottom-width: 1pt; border-bottom-color: #92cddc; border-right-width: 1pt; border-right-color: #92cddc; background: #daeef3; padding: 0cm 5.4pt;" width="527">
<p class="MsoNormal" style="text-align: justify; text-justify: inter-ideograph; mso-yfti-cnfc: 64;">
<span style="font-family: '微软雅黑',sans-serif; mso-ascii-font-family: 'Courier New'; mso-hansi-font-family: 'Courier New';">是在取回内容时，与数据和发送块一同保存服务器上的任意</span><span lang="EN-US">16</span><span style="font-family: '微软雅黑',sans-serif; mso-ascii-font-family: 'Courier New'; mso-hansi-font-family: 'Courier New';">位无符号整形（用十进制来书写）。客户端可以用它作为“位域”来存储一些特定的信息；它对服务器是不透明的。</span>
</p>
</td>
</tr>
<tr>
<td style="width: 127.35pt; border-right-width: 1pt; border-bottom-width: 1pt; border-left-width: 1pt; border-right-color: #92cddc; border-bottom-color: #92cddc; border-left-color: #92cddc; border-top: none; padding: 0cm 5.4pt;" width="170">
<p class="MsoNormal" style="text-align: justify; text-justify: inter-ideograph; mso-yfti-cnfc: 4;">
<strong><span lang="EN-US"><exptime></span></strong>
</p>
</td>
<td style="width: 395.45pt; border-top: none; border-left: none; border-bottom-width: 1pt; border-bottom-color: #92cddc; border-right-width: 1pt; border-right-color: #92cddc; padding: 0cm 5.4pt;" width="527">
<p class="MsoNormal" style="text-align: justify; text-justify: inter-ideograph;">
<span style="font-family: '微软雅黑',sans-serif; mso-ascii-font-family: 'Courier New'; mso-hansi-font-family: 'Courier New';">是终止时间。如果为</span><span lang="EN-US"></span><span style="font-family: '微软雅黑',sans-serif; mso-ascii-font-family: 'Courier New'; mso-hansi-font-family: 'Courier New';">，该项永不过期</span><span lang="EN-US">(</span><span style="font-family: '微软雅黑',sans-serif; mso-ascii-font-family: 'Courier New'; mso-hansi-font-family: 'Courier New';">虽然它可能被删除，以便为其他缓存项目腾出位置</span><span lang="EN-US">)</span><span style="font-family: '微软雅黑',sans-serif; mso-ascii-font-family: 'Courier New'; mso-hansi-font-family: 'Courier New';">。如果非</span><span lang="EN-US"></span><span style="font-family: '微软雅黑',sans-serif; mso-ascii-font-family: 'Courier New'; mso-hansi-font-family: 'Courier New';">（</span><span lang="EN-US">Unix</span><span style="font-family: '微软雅黑',sans-serif; mso-ascii-font-family: 'Courier New'; mso-hansi-font-family: 'Courier New';">时间戳或当前时刻的秒偏移），到达终止时间后，客户端无法再获得这项内容</span>
</p>
</td>
</tr>
<tr>
<td style="width: 127.35pt; border-right-width: 1pt; border-bottom-width: 1pt; border-left-width: 1pt; border-right-color: #92cddc; border-bottom-color: #92cddc; border-left-color: #92cddc; border-top: none; background: #daeef3; padding: 0cm 5.4pt;" width="170">
<p class="MsoNormal" style="text-align: justify; text-justify: inter-ideograph; mso-yfti-cnfc: 68;">
<strong><span lang="EN-US"><bytes></span></strong>
</p>
</td>
<td style="width: 395.45pt; border-top: none; border-left: none; border-bottom-width: 1pt; border-bottom-color: #92cddc; border-right-width: 1pt; border-right-color: #92cddc; background: #daeef3; padding: 0cm 5.4pt;" width="527">
<p class="MsoNormal" style="text-align: justify; text-justify: inter-ideograph; mso-yfti-cnfc: 64;">
<span style="font-family: '微软雅黑',sans-serif; mso-ascii-font-family: 'Courier New'; mso-hansi-font-family: 'Courier New';">是随后的数据区块的字节长度，不包括用于分页的“</span><span lang="EN-US">\r\n</span><span style="font-family: '微软雅黑',sans-serif; mso-ascii-font-family: 'Courier New'; mso-hansi-font-family: 'Courier New';">”。它可以是</span><span lang="EN-US"></span><span style="font-family: '微软雅黑',sans-serif; mso-ascii-font-family: 'Courier New'; mso-hansi-font-family: 'Courier New';">（这时后面跟随一个空的数据区块）。</span>
</p>
</td>
</tr>
<tr>
<td style="width: 127.35pt; border-right-width: 1pt; border-bottom-width: 1pt; border-left-width: 1pt; border-right-color: #92cddc; border-bottom-color: #92cddc; border-left-color: #92cddc; border-top: none; padding: 0cm 5.4pt;" width="170">
<p class="MsoNormal" style="text-align: justify; text-justify: inter-ideograph; mso-yfti-cnfc: 4;">
<strong><span lang="EN-US"><data block>\r\n</span></strong>
</p>
</td>
<td style="width: 395.45pt; border-top: none; border-left: none; border-bottom-width: 1pt; border-bottom-color: #92cddc; border-right-width: 1pt; border-right-color: #92cddc; padding: 0cm 5.4pt;" width="527">
<p class="MsoNormal" style="text-align: justify; text-justify: inter-ideograph;">
<span lang="EN-US"><data block> </span><span style="font-family: '微软雅黑',sans-serif; mso-ascii-font-family: 'Courier New'; mso-hansi-font-family: 'Courier New';">是大段的</span><span lang="EN-US">8</span><span style="font-family: '微软雅黑',sans-serif; mso-ascii-font-family: 'Courier New'; mso-hansi-font-family: 'Courier New';">位数据，其长度由前面的命令行中的</span><span lang="EN-US"><bytes></span><span style="font-family: '微软雅黑',sans-serif; mso-ascii-font-family: 'Courier New'; mso-hansi-font-family: 'Courier New';">指定。</span>
</p>
</td>
</tr>
</table>
2.2.2 数据库使用
写入读取数据
写入数据长度不符合，定义过大
写入数据长度不符合，定义过小
时效性
删除数据
2.3 memcache php版本客户端安装使用
命令集
检查当前环境
<div id="cnblogs_code_open_333e383e-76e0-4e18-8635-8bcec6402e58" class="cnblogs_code_hide">
<pre><span style="color: #008080;"> 1</span> <span style="color: #000000;">查看php的模块
2 [root@web06 ~]# /application/php/bin/php -m 3 [PHP Modules] 4 bcmath 5 Core 6 ctype 7 curl 8 date 9 dom 10 ereg 11 fileinfo 12 filter 13 ftp 14 gd 15 hash 16 iconv 17 json 18 libxml 19 mbstring 20 mcrypt 21 mhash 22 mysql 23 mysqlnd 24 openssl 25 pcntl 26 pcre 27 PDO 28 pdo_mysql 29 pdo_sqlite 30 Phar 31 posix 32 Reflection 33 session 34 shmop 35 SimpleXML 36 soap 37 sockets 38 SPL 39 sqlite3 40 standard 41 sysvsem 42 tokenizer 43 xml 44 xmlreader 45 xmlrpc 46 xmlwriter 47 xsl 48 zlib 49 50 [Zend Modules]
<p>
<span class="cnblogs_code_collapse">View Code 查看php的模块</span></div> </div>
<p>
<strong><em><span style="text-decoration: underline;">执行过程</span></em></strong>
</p>
<p>
编译安装
</p>
<div>
<div class="cnblogs_code">
<pre>[root@web06 memcache-<span style="color: #800080;">2.2</span>.<span style="color: #800080;">5</span><span style="color: #000000;">]# make install
Installing shared extensions: /application/php-5.5.32/lib/php/extensions/no-debug-non-zts-20121212/ [root@web06 memcache-2.2.5]# ls /application/php/lib/php/extensions/no-debug-non-zts-20121212/ memcache.so [root@web06 memcache-2.2.5]# sed -i ’$a extension=memcache.so’ /application/php/lib/php.ini [root@web06 memcache-2.2.5]# pkill php [root@web06 memcache-2.2.5]# /application/php/sbin/php-fpm -t [17-Nov-2017 11:39:13] NOTICE: configuration file /application/php-5.5.32/etc/php-fpm.conf test is successful
[root@web06 memcache-2.2.5]# /application/php/sbin/php-fpm [root@web06 memcache-2.2.5]# /application/php/bin/php -m|grep memcache memcache
<h3>
<span id="231">2.3.1 编写测试文件</span>
</h3>
<div>
<div class="cnblogs_code">
<pre>[root@web01 blog]# cat /application/nginx/html/blog/<span style="color: #000000;">mc.php
<?php $memcache </span>=
new Memcache; $memcache->connect(’10.0.0.21’, 11211) or die ("Could not connect"); $memcache->set(’key20171117’, ’hello,world’); $get_value = $memcache->get(’key20171117’); echo $get_value; ?>
<p>
浏览器访问
</p>
<p align="center">
<img data-original="https://clsn.io/wp-content/uploads/2018/03/1190037-20171207155911878-447894378.png" src="/wp-content/themes/clsn-003/img/blank.gif" alt="memcached 缓存数据库应用实践" alt="" />
</p>
<p>
数据库读取测试
</p>
<div>
<div class="cnblogs_code">
<pre>[root@cache01 ~]# printf <span style="color: #800000;">"</span><span style="color: #800000;">get key20171117 \r\n</span><span style="color: #800000;">"</span>|nc <span style="color: #800080;">10.0</span>.<span style="color: #800080;">0.21</span> <span style="color: #800080;">11211</span><span style="color: #000000;">
VALUE key20171117 11 hello,world END
<h2>
<span id="24_webmemcached">2.4 web管理memcached</span>
</h2>
<p>
使用的软件memadmin
</p>
<p>
官网：http://www.junopen.com/memadmin/
</p>
<p>
将程序包放如站点目录，浏览器进行访问即可
</p>
<div>
<div class="cnblogs_code">
<pre>[root@web06 tools]# tar xf memadmin-<span style="color: #800080;">1.0</span>.<span style="color: #800080;">12</span>.tar.gz -C /application/nginx/html/blog/</pre>
</div>
</div>
<p>
默认用户名密码为admin
</p>
<p align="center">
<img data-original="https://clsn.io/wp-content/uploads/2018/03/1190037-20171207160010097-70003361.png" src="/wp-content/themes/clsn-003/img/blank.gif" alt="memcached 缓存数据库应用实践" alt="" />
</p>
<p>
添加一个新的memcached服务器
</p>
<p align="center">
<img data-original="https://clsn.io/wp-content/uploads/2018/03/1190037-20171207160024222-645669662.png" src="/wp-content/themes/clsn-003/img/blank.gif" alt="memcached 缓存数据库应用实践" alt="" />
</p>
<p>
web界面管理全中文，较为简单
</p>
<p align="center">
<img data-original="https://clsn.io/wp-content/uploads/2018/03/1190037-20171207160031722-1722233913.png" src="/wp-content/themes/clsn-003/img/blank.gif" alt="memcached 缓存数据库应用实践" alt="" />
</p>
<h2>
<span id="25_memcached">2.5 memcached数据缓存</span>
</h2>
<p>
通过程序实现
</p>
<h3>
<span id="251_blogmemcached">2.5.1 blog站点实现memcached存储</span>
</h3>
<div>
<div class="cnblogs_code">
<pre>[root@web06 ~]# cat /application/nginx/html/blog/wp-content/<span style="color: #0000ff;">object</span>-cache.php</pre>
</div>
</div>
<p align="center">
<img data-original="https://clsn.io/wp-content/uploads/2018/03/1190037-20171207160048659-177631846.png" src="/wp-content/themes/clsn-003/img/blank.gif" alt="memcached 缓存数据库应用实践" alt="" />
</p>
<h2>
<span id="26_memcached_session">2.6 memcached session共享</span>
</h2>
<p>
方法1：
</p>
<p>
通过程序实现，web01只需要往memcahce写session，web02从memcahce读session<strong>（更具有通用性）</strong>
</p>
<p>
方法2：
</p>
<p>
通过php的配置文件，让php默认将session存储在文件中，修改为存储在memcached中
</p>
<div>
<div class="cnblogs_code">
<pre>sed -i <span style="color: #800000;">'</span><span style="color: #800000;">s#session.save_handler = files#session.save_handler = memcache#;$a session.save_path = "tcp://10.0.0.21:11211"</span><span style="color: #800000;">'</span> /application/php/lib/php.ini</pre>
</div>
<p>
使用这个功能，需要使用php的session函数
</p>
<p style="text-align: right;">
<strong> 本文出自“惨绿少年”，欢迎转载，转载请注明出处！http://blog.znix.top</strong>
</p>
</div>
<div id="toc_container" class="toc_white have_bullets">
<ul class="toc_list">
<ul>
<li>
<a href="#11">1.1 数据库对比</a><ul>
<li>
<a href="#111">1.1.1 数据库的选择</a>
</li>
<li>
<a href="#112">1.1.2 数据库分类</a>
</li>
</ul>
</li>
<li>
<a href="#12_memcached">1.2 memcached介绍</a><ul>
<li>
<a href="#121_memcache">1.2.1 memcache优点</a>
</li>
</ul>
</li>
<li>
<a href="#13_Memcached">1.3 Memcached在企业中使用场景</a><ul>
<li>
<a href="#131">1.3.1 作为数据库的前端缓存应用</a>
</li>
<li>
<a href="#132_session">1.3.2 作为集群后端的session会话保持</a>
</li>
<li>
<a href="#133">1.3.3 网站开发如何判断用户信息</a>
</li>
<li>
<a href="#134_session">1.3.4 session共享的不同解决方案</a>
</li>
<li>
<a href="#135_memcache">1.3.5 memcache原理优点</a>
</li>
</ul>
</li>
<li>
<a href="#14_Memcached">1.4 Memcached分布式缓存集群</a><ul>
<li>
<a href="#141_Memcached">1.4.1 Memcached分布式缓存集群的特点</a>
</li>
</ul>
</li>
</ul></li>
<li>
<a href="#2_memcached">第2章 memcached使用</a><ul>
<li>
<a href="#21_memcached">2.1 安装memcached</a><ul>
<li>
<a href="#211">2.1.1 环境说明</a>
</li>
<li>
<a href="#212_memcached">2.1.2 安装memcached</a>
</li>
<li>
<a href="#213">2.1.3 查看配置</a>
</li>
<li>
<a href="#214">2.1.4 查看启动脚本</a>
</li>
<li>
<a href="#215">2.1.5 启动服务</a>
</li>
</ul>
</li>
<li>
<a href="#22_memcached">2.2 管理memcached</a><ul>
<li>
<a href="#221_memcached">2.2.1 memcached数据库语法格式</a>
</li>
<li>
<a href="#222">2.2.2 数据库使用</a>
</li>
</ul>
</li>
<li>
<a href="#23_memcache_php">2.3 memcache php版本客户端安装使用</a><ul>
<li>
<a href="#231">2.3.1 编写测试文件</a>
</li>
</ul>
</li>
<li>
<a href="#24_webmemcached">2.4 web管理memcached</a>
</li>
<li>
<a href="#25_memcached">2.5 memcached数据缓存</a><ul>
<li>
<a href="#251_blogmemcached">2.5.1 blog站点实现memcached存储</a>
</li>
</ul>
</li>
<li>
<a href="#26_memcached_session">2.6 memcached session共享</a>
</li>
</ul>
</li>
</ul>
</div>- 原文作者：惨绿少年
- 原文链接：https://clsn.io/clsn/lx509.html
- 版权声明：本作品采用知识共享署名-非商业性使用-禁止演绎 4.0 国际许可协议进行许可，非商业转载请注明出处（作者，原文链接），商业转载请联系作者获得授权。