nginx + php(fastcgi)搭建高性能web服务器[v2]

星期五, 六月 11th, 2010

前面已经写过一篇《nginx + php(fastcgi)搭建高性能web服务器》,本文和上篇没什么区别,只是新增了openssl安装,并将其他的软件升级到最新版本。

本文在CentOS 5.1 x86_64平台通过测试;最后修改于2010-07-02

下载源码 (截止到2010年04月28日最新稳定版)
openssl-1.0.0.tar.gz
mysql-5.1.46.tar.gz
zlib-1.2.5.tar.gz
freetype-2.3.12.tar.gz
libpng-1.4.1.tar.gz
jpegsrc.v8a.tar.gz
gd-2.0.35.tar.gz
libiconv-1.13.1.tar.gz
libmcrypt-2.5.8.tar.gz
mhash-0.9.9.9.tar.gz
mcrypt-2.6.8.tar.gz
libevent-1.4.13-stable.tar.gz
php-5.2.13-fpm-0.5.13.diff.gz
suhosin-patch-5.2.13-0.9.7.patch.gz
php-5.2.13.tar.gz
memcache-2.2.5.tgz
eaccelerator-0.9.6.tar.bz2
PDO_MYSQL-1.0.2.tgz"
ImageMagick-6.6.1-5.tar.gz
imagick-2.3.0.tgz
pcre-8.02.tar.gz
nginx-0.7.65.tar.gz

本站打包下载所有源码:
websuite-20100428.tar.gz

安装 opensll

tar zxvf openssl-1.0.0.tar.gz
cd openssl-1.0.0
./config shared zlib
make
make test
make install
 
创建连接
mv /usr/bin/openssl /usr/bin/openssl.OFF
mv /usr/include/openssl /usr/include/openssl.OFF
rm -rf /usr/lib/libssl.so
ln -s /usr/local/ssl/bin/openssl /usr/bin/openssl
ln -s /usr/local/ssl/include/openssl /usr/include/openssl
ln -sv /usr/local/ssl/lib64/libssl.so.1.0.0 /usr/lib/libssl.so
 
配置库文件搜索路径
echo "/usr/local/ssl/lib64" >> /etc/ld.so.conf
ldconfig -v
 
检测安装结果
openssl version

安装 mysql

groupadd mysql
useradd mysql -g mysql -M -s /bin/false
tar zxvf mysql-5.1.46.tar.gz
cd mysql-5.1.46
./configure --prefix=/usr/local/mysql --with-mysqld-user=mysql --without-debug --with-big-tables \
--with-charset=utf8 --with-collation=utf8_general_ci --with-extra-charsets=all --with-pthread \
--enable-static --enable-assembler --enable-local-infile --with-readline --with-ssl \
--enable-thread-safe-client --with-client-ldflags=-all-static --with-mysqld-ldflags=-all-static
make
make install
 
以下为附加步骤,如果你想在这台服务器上运行MySQL数据库,则执行以下两步。
如果你只是希望让PHP支持MySQL扩展库,能够连接其他服务器上的MySQL数据库,那么,以下两步无需执行。
 
1、以mysql用户帐号的身份建立数据表:
chown -R mysql.mysql /usr/local/mysql
cp support-files/my-large.cnf /etc/my.cnf
scripts/mysql_install_db --user=mysql
 
2、加入开机自启动;并启动mysql
cp support-files/mysql.server /etc/rc.d/init.d/mysqld
chmod 700 /etc/rc.d/init.d/mysqld
chkconfig --add mysqld
chkconfig --level 35 mysqld on
service mysqld start

安装 zlib

tar zxvf zlib-1.2.5.tar.gz
cd zlib-1.2.5
./configure --prefix=/usr/local/zlib -s
make
make install
cd ..

安装 freetype

tar zxvf freetype-2.3.12.tar.gz
cd freetype-2.3.12
./configure --prefix=/usr/local/freetype
make
make install
cd ..

安装 libpng

tar zxvf libpng-1.4.1.tar.gz
cd libpng-1.4.1
./configure --prefix=/usr/local/libpng
make check
make install
cd ..

安装 jpeg

tar zxvf jpegsrc.v8a.tar.gz
cd jpeg-8a
./configure --prefix=/usr/local/jpeg --enable-shared --enable-static
make
make test
make install
cd ..
 
在RHEL5 64 位下编译jpeg-8a时候报以下错误:
make: ./libtool: Command not found make: *** [jcapimin.lo] Error 127
错误分析:由于libtool版本过低导致的,进入jpeg-8a的源码目录,复制相关文件覆盖,然后重新configure
cp /usr/share/libtool/config.sub .
cp /usr/share/libtool/config.guess .

安装 gd

tar zxvf gd-2.0.35.tar.gz
cd gd-2.0.35
./configure --prefix=/usr/local/gd --with-jpeg=/usr/local/jpeg --with-freetype=/usr/local/freetype \
--with-png=/usr/local/libpng --with-zlib=/usr/local/zlib --enable-m4_pattern_allow
make
make install
cd ..

编译最新的2.0.35版本,make的时候出现以下错误:
configure.ac:64: error: possibly undefined macro: AM_ICONV
If this token and others are legitimate, please use m4_pattern_allow.
See the Autoconf documentation.
make: *** [configure] Error 1

解决办法: configure的时候加上--enable-m4_pattern_allow参数;便能顺利编译安装

安装 libiconv

tar zxvf libiconv-1.13.1.tar.gz
cd libiconv-1.13.1
./configure
make
make install
cd ..

安装 libmcrypt

tar zxvf libmcrypt-2.5.8.tar.gz
cd libmcrypt-2.5.8
./configure --disable-posix-threads
make
make check
make install
cd libltdl
ldconfig
./configure --enable-ltdl-install
make
make install
cd ../..

安装 mhash

tar zxvf mhash-0.9.9.9.tar.gz
cd mhash-0.9.9.9
./configure
make
make install
cd ..

安装 mcrypt

tar zxvf mcrypt-2.6.8.tar.gz
cd mcrypt-2.6.8
LD_LIBRARY_PATH=/usr/local/lib ./configure --with-libiconv-prefix
make
make install
cd ..

configure时候出现如下错误:
configure: error: "You need at least libmhash 0.8.15 to compile this program http://mhash.sf.net/"
前面已经安装过mhash,初步分析为预编译的时候没找到lib文件所在的地址;
所以在./configure前面加上LD_LIBRARY_PATH=/usr/local/lib

安装 libevent

tar -xzvf libevent-1.4.13-stable.tar.gz
cd /usr/local/libevent-1.4.13-stable/
./configure --prefix=/usr/local/libevent
make
make install
cd ..

安装 PHP(fastcgi模式)

tar zxvf php-5.2.13.tar.gz
 
安装php-fpm补丁
gzip -cd php-5.2.13-fpm-0.5.13.diff.gz | patch -d php-5.2.13 -p1
 
安装Sohusin应用补丁
gzip -cd suhosin-patch-5.2.13-0.9.7.patch.gz | patch -d php-5.2.13 -p1
 
cd php-5.2.13
./buildconf  --force
./configure --prefix=/usr/local/php --with-config-file-path=/usr/local/php/etc \
--with-mysql=/usr/local/mysql  --with-mysqli=/usr/local/mysql/bin/mysql_config \
--with-freetype-dir=/usr/local/freetype --with-jpeg-dir=/usr/local/jpeg \
--with-png-dir=/usr/local/libpng --with-zlib=/usr/local/zlib --with-gd=/usr/local/gd \
--with-libevent=/usr/local/libevent --enable-safe-mode --enable-sockets \
--with-gdbm=/usr/lib --with-iconv-dir --enable-mbstring --enable-mbregex --with-curl \
--with-curlwrappers --enable-bcmath --with-mhash --with-mcrypt --enable-fastcgi \
--enable-fpm --with-pear --enable-force-cgi-redirect --enable-shmop --enable-xml \
--enable-sysvsem --enable-inline-optimization --enable-pcntl --enable-discard-path \
--with-libxml-dir --enable-suhosin --enable-zip
make
make install
cp php.ini-dist /usr/local/php/etc/php.ini
cd ..

安装PHP5扩展模块

tar zxvf memcache-2.2.5.tgz
cd memcache-2.2.5/
/usr/local/php/bin/phpize
./configure --with-php-config=/usr/local/php/bin/php-config
make
make install
cd ..
 
tar jxvf eaccelerator-0.9.6.tar.bz2
cd eaccelerator-0.9.6
/usr/local/php/bin/phpize
./configure --enable-eaccelerator=shared --with-php-config=/usr/local/php/bin/php-config
make
make install
cd ..
 
tar zxvf PDO_MYSQL-1.0.2.tgz
cd PDO_MYSQL-1.0.2/
/usr/local/php/bin/phpize
./configure --with-php-config=/usr/local/php/bin/php-config --with-pdo-mysql=/usr/local/mysql
make
make install
cd ..
 
tar zxvf ImageMagick-6.6.1-5.tar.gz
cd ImageMagick-6.6.1-5
./configure
make
make install
cd ..
 
tar zxvf imagick-2.3.0.tgz
cd imagick-2.3.0/
/usr/local/php/bin/phpize
./configure --with-php-config=/usr/local/php/bin/php-config
make
make install
cd ..

配置 PHP

vi /usr/local/php/etc/php.ini
查找 extension_dir = "./"
修改为 extension_dir = "/usr/local/php/lib/php/extensions/no-debug-non-zts-20060613/"
并在此行后增加以下几行,然后保存:
extension = "memcache.so"
extension = "pdo_mysql.so"
extension = "imagick.so"
extension = "eaccelerator.so"
 
eaccelerator.shm_size="64"
eaccelerator.cache_dir="/var/cache/eaccelerator"
eaccelerator.enable="1"
eaccelerator.optimizer="1"
eaccelerator.check_mtime="1"
eaccelerator.debug="0"
eaccelerator.filter=""
eaccelerator.shm_max="0"
eaccelerator.shm_ttl="3600"
eaccelerator.shm_prune_period="3600"
eaccelerator.shm_only="0"
eaccelerator.compress="1"
eaccelerator.compress_level="9"
 
再查找output_buffering = Off
修改为output_buffering = On
 
创建eaccelerator缓存目录
mkdir -p /var/cache/eaccelerator
chmod 777 /var/cache/eaccelerator

修改php-fpm.conf
使用默认配置文件,根据实际情况调整几个参数即可
max_children
rlimit_files
max_requests

或者使用本站推荐配置文件;点此 查看

安装 pcre

tar jxvf pcre-8.2.tar.gz
cd pcre-8.2
./configure
make
make check
make install
cd ..

安装 Nginx

mkdir /var/cache/nginx
tar zxvf nginx-0.7.65.tar.gz
cd nginx-0.7.65
./configure --prefix=/usr/local/nginx --http-client-body-temp-path=/var/cache/nginx/client_body_temp \
--with-select_module --with-poll_module --with-http_sub_module --with-http_stub_status_module \
--with-http_gzip_static_module --with-http_dav_module --with-http_flv_module --with-debug \
--with-http_ssl_module --http-fastcgi-temp-path=/var/cache/nginx/fastcgi_temp
make
make install
cd ..

nginx + php(fastcgi)搭建高性能web服务器[v1]

星期五, 十一月 20th, 2009

本文在CentOS 5.1\5.3平台通过测试;最后修改于2009-11-26

  • 下载源码 (截止到2009年11月20日最新稳定版)
  • 安装 mysql
  • groupadd mysql
    useradd mysql -g mysql -M -s /bin/false
    tar zxvf mysql-5.1.40.tar.gz
    cd mysql-5.1.40
    ./configure --prefix=/usr/local/mysql --with-mysqld-user=mysql --without-debug --with-big-tables \ 
    --with-charset=utf8 --with-collation=utf8_general_ci --with-extra-charsets=all --with-pthread \
    --enable-static --enable-assembler --enable-local-infile --with-readline --with-ssl \
    --enable-thread-safe-client --with-client-ldflags=-all-static --with-mysqld-ldflags=-all-static
    make
    make install
     
    以下为附加步骤,如果你想在这台服务器上运行MySQL数据库,则执行以下两步。
    如果你只是希望让PHP支持MySQL扩展库,能够连接其他服务器上的MySQL数据库,那么,以下两步无需执行。
     
    1、以mysql用户帐号的身份建立数据表:
    chown -R mysql.mysql /usr/local/mysql
    cp support-files/my-large.cnf /etc/my.cnf
    scripts/mysql_install_db --user=mysql
     
    2、加入开机自启动;并启动mysql
    cp support-files/mysql.server /etc/rc.d/init.d/mysqld
    chmod 700 /etc/rc.d/init.d/mysqld
    chkconfig --add mysqld
    chkconfig --level 35 mysqld on
    service mysqld start
  • 安装GD库
    • 安装 zlib

      tar zxvf zlib-1.2.3.tar.gz
      cd zlib-1.2.3
      ./configure --prefix=/usr/local/zlib
      make
      make install
      cd ..

      安装 freetype

      tar zxvf freetype-2.3.8.tar.gz
      cd freetype-2.3.8
      ./configure --prefix=/usr/local/freetype
      make
      make install
      cd ..

      安装 libpng

      tar zxvf libpng-1.2.35.tar.gz
      cd libpng-1.2.35
      cp scripts/makefile.linux makefile
      make test
      make install
      cd ..

      安装 jpeg

      tar zxvf jpegsrc.v6b.tar.gz
      cd jpeg-6b
      mkdir /usr/local/jpeg
      mkdir /usr/local/jpeg/bin
      mkdir /usr/local/jpeg/lib
      mkdir /usr/local/jpeg/include
      mkdir /usr/local/jpeg/man
      mkdir /usr/local/jpeg/man/man1
      ./configure --prefix=/usr/local/jpeg --enable-shared --enable-static
      make
      make install
      cd ..
       
      在RHEL5 64 位下编译jpeg-6b时候报以下错误:
      make: ./libtool: Command not found make: *** [jcapimin.lo] Error 127
      错误分析:由于libtool版本过低导致的,进入jpeg-6b的源码目录,复制相关文件覆盖,然后重新configure。
      cp /usr/share/libtool/config.sub .
      cp /usr/share/libtool/config.guess .

      安装 gd

      依赖gettext,同时需要将-fPIC选项加入到Makefile的CFLAG中,大约230行。 
      tar zxvf gd-2.0.35.tar.gz
      cd gd-2.0.35
      ./configure --prefix=/usr/local/gd --with-jpeg=/usr/local/jpeg --with-freetype=/usr/local/freetype \
      --with-png --with-zlib=/usr/local/zlib
      make
      make install
      cd ..

      编译最新的2.0.35版本,make的时候出现以下错误:
      configure.ac:64: error: possibly undefined macro: AM_ICONV
      If this token and others are legitimate, please use m4_pattern_allow.
      See the Autoconf documentation.
      make: *** [configure] Error 1

      解决办法: configure的时候加上--enable-m4_pattern_allow参数;便能顺利编译安装

  • 安装 libiconv
  • tar zxvf libiconv-1.12.tar.gz
    cd libiconv-1.12
    ./configure
    make
    make install
    cd ..
  • 安装 libmcrypt
  • tar zxvf libmcrypt-2.5.8.tar.gz
    cd libmcrypt-2.5.8
    ./configure --disable-posix-threads
    make
    make check
    make install
    cd libltdl
    ldconfig
    ./configure --enable-ltdl-install
    make
    make install
    cd ..
  • 安装 mhash
  • tar zxvf mhash-0.9.9.9.tar.gz
    cd mhash-0.9.9.9
    ./configure
    make
    make install
    cd ..
  • 安装 mcrypt
  • tar zxvf mcrypt-2.6.8.tar.gz
    cd mcrypt-2.6.8
    LD_LIBRARY_PATH=/usr/local/lib ./configure --with-libiconv-prefix
    make
    make install
    cd ..

    configure时候出现如下错误:
    configure: error: "You need at least libmhash 0.8.15 to compile this program http://mhash.sf.net/"
    前面已经安装过mhash,初步分析为预编译的时候没找到lib文件所在的地址;
    所以在./configure前面加上LD_LIBRARY_PATH=/usr/local/lib

  • 安装 libevent
  • tar -xzvf libevent-1.4.9-stable.tar.gz
    cd /usr/local/libevent-1.4.9-stable/
    ./configure --prefix=/usr/local/libevent
    make
    make install
    cd ..
  • 安装 PHP(fastcgi模式)
  • tar zxvf php-5.2.11.tar.gz
    生成 php-fpm补丁
    tar zxvf php-fpm-0.6~5.2.11.tar.gz
    php-fpm-0.6-5.2.11/generate-fpm-patch
     
    安装Sohusin应用补丁
    gzip -d suhosin-patch-5.2.11-0.9.7.patch.gz
    cd php-5.2.11
    patch -p 1 -i ../suhosin-patch-5.2.11-0.9.7.patch
    cd ..
     
    安装 php-fpm补丁
    cd php-5.2.11
    patch -p1 < ../fpm.patch
    cd ..
     
    cd php-5.2.11
    ./buildconf  --force
    ./configure --prefix=/usr/local/php --with-config-file-path=/usr/local/php/etc \
    --with-mysql=/usr/local/mysql  --with-mysqli=/usr/local/mysql/bin/mysql_config \
    --with-freetype-dir=/usr/local/freetype--with-jpeg-dir=/usr/local/jpeg --with-png-dir \
    --with-zlib=/usr/local/zlib --with-gd=/usr/local/gd --with-libevent=/usr/local/libevent \
    --enable-safe-mode --enable-sockets --with-gdbm=/usr/lib --with-iconv-dir --enable-mbstring \
    --enable-mbregex --with-curl --with-curlwrappers --enable-bcmath --with-mhash --with-mcrypt \
    --enable-fastcgi --with-fpm --with-pear --enable-force-cgi-redirect --enable-shmop --enable-xml \
    --enable-sysvsem --enable-inline-optimization --enable-pcntl --enable-discard-path --with-libxml-dir \
    --enable-suhosin --enable-zip 
    make
    make install
    cp php.ini-dist /usr/local/php/etc/php.ini
    cd ..

    # PHP-FPM 0.6 for PHP 5.2.11的编译开关从enable改为了with, 要做相应修改,同时要增加--with-libevent开关
    # 加上--enable-suhosin 韩国的PHP 守护神补丁

    安装PHP5扩展模块

      tar zxvf memcache-2.2.5.tgz
      cd memcache-2.2.5/
      /usr/local/php/bin/phpize
      ./configure --with-php-config=/usr/local/php/bin/php-config
      make
      make install
      cd ..
       
      tar jxvf eaccelerator-0.9.5.3.tar.bz2
      cd eaccelerator-0.9.5.3/
      /usr/local/php/bin/phpize
      ./configure --enable-eaccelerator=shared --with-php-config=/usr/local/php/bin/php-config
      make
      make install
      cd ..
       
      tar zxvf PDO_MYSQL-1.0.2.tgz
      cd PDO_MYSQL-1.0.2/
      /usr/local/php/bin/phpize
      ./configure --with-php-config=/usr/local/php/bin/php-config --with-pdo-mysql=/usr/local/mysql
      make
      make install
      cd ..
       
      tar zxvf ImageMagick-6.5.7-9.tar.gz
      cd ImageMagick-6.5.7-9/
      ./configure
      make
      make install
      cd ..
       
      tar zxvf imagick-2.3.0.tgz
      cd imagick-2.3.0/
      /usr/local/php/bin/phpize
      ./configure --with-php-config=/usr/local/php/bin/php-config
      make
      make install
      cd ..

      配置 PHP

      vi /usr/local/php/etc/php.ini
      查找 extension_dir = "./"
      修改为 extension_dir = "/usr/local/php/lib/php/extensions/no-debug-non-zts-20060613/"
      并在此行后增加以下几行,然后保存:
      extension = "memcache.so"
      extension = "pdo_mysql.so"
      extension = "imagick.so"
      extension = "eaccelerator.so"
       
      eaccelerator.shm_size="64"
      eaccelerator.cache_dir="/var/cache/eaccelerator"
      eaccelerator.enable="1"
      eaccelerator.optimizer="1"
      eaccelerator.check_mtime="1"
      eaccelerator.debug="0"
      eaccelerator.filter=""
      eaccelerator.shm_max="0"
      eaccelerator.shm_ttl="3600"
      eaccelerator.shm_prune_period="3600"
      eaccelerator.shm_only="0"
      eaccelerator.compress="1"
      eaccelerator.compress_level="9"
       
      再查找output_buffering = Off
      修改为output_buffering = On
       
      创建eaccelerator缓存目录
      mkdir -p /var/cache/eaccelerator
      chmod 777 /var/cache/eaccelerator

    修改php-fpm.conf
    使用默认配置文件,根据实际情况调整几个参数即可
    max_children
    rlimit_files
    max_requests

    或者使用本站推荐配置文件;点此 查看

  • 安装 Nginx
  • tar jxvf pcre-8.0.tar.gz
    cd pcre-8.0
    ./configure
    make
    make check
    make install
    cd ..
     
    mkdir /var/cache/nginx
    tar zxvf nginx-0.7.51.tar.gz
    cd nginx-0.7.51
    ./configure --prefix=/usr/local/nginx --http-client-body-temp-path=/var/cache/nginx/client_body_temp \
    --with-select_module --with-poll_module --with-http_sub_module --with-http_stub_status_module \
    --with-http_gzip_static_module --with-http_dav_module --with-http_flv_module --with-debug \
    --with-http_ssl_module --http-fastcgi-temp-path=/var/cache/nginx/fastcgi_temp
    make
    make install
    cd ..

    参考文章:张宴的 Nginx 0.8.x + PHP 5.2.10(FastCGI)搭建胜过Apache十倍的Web服务器

    Mysql主从同步备份策略

    星期一, 五月 18th, 2009

    mysql主从同步备份策略
    环境:
    主从服务器上的MySQL数据库版本同为5.1.34
    主机IP:192.168.0.1
    从机IP:192.168.0.2

    一. MySQL主服务器配置

    1.编辑配置文件/etc/my.cnf
    # 确保有如下行
    server-id = 1
    log-bin=mysql-bin
    binlog-do-db=mysql  #需要备份的数据库名,如果备份多个数据库,重复设置这个选项即可
    binlog-ignore-db=mysql  #不需要备份的数据库名,如果备份多个数据库,重复设置这个选项即可
    log-slave-updates #这个参数一定要加上,否则不会给更新的记录些到二进制文件里
    slave-skip-errors #是跳过错误,继续执行复制操作

    2.建立用户
    mysql> grant replication slave on *.* to slave@192.168.0.2 identified by ‘111111′;
    # grant replication slave on *.* to ‘用户名’@'主机’ identified by ‘密码’;
    # 可在Slave上做连接测试: mysql -h 192.168.0.1 -u test -p

    3.锁主库表
    mysql> FLUSH TABLES WITH READ LOCK;

    4.显示主库信息
    记录File和Position,从库设置将会用到
    =====================
    mysql> SHOW MASTER STATUS;

    +------------------+----------+--------------+------------------+
    | File             | Position | Binlog_do_db | Binlog_ignore_db |
    +------------------+----------+--------------+------------------+
    | mysql-bin.000001 | 106      |              |                  |
    +------------------+----------+--------------+------------------+

    5.另开一个终端,打包主库
    cd /usr/local/mysql  #mysql库目录
    tar zcvf var.tar.gz var
    ============================

    二.MySQL从服务器配置

    1、传输拿到主库数据包、解包
    # cd /usr/local/mysql
    # scp 192.168.0.1:/usr/local/mysql/var.tar.gz .
    # tar zxvf var.tar.gz

    2、查看修改var文件夹权限
    # chown -R mysql:mysql var

    3.编辑 /etc/my.cnf
    server-id=2
    log-bin=mysql-bin
    master-host=192.168.0.1
    master-user=slave
    master-password=111111
    master-port=3306
    replicate-do-db=test  #需要备份的数据库名
    replicate-ignore-db=mysql #忽略的数据库
    master-connect-retry=60 #如果从服务器发现主服务器断掉,重新连接的时间差(秒)
    log-slave-updates #这个参数一定要加上,否则不会给更新的记录些到二进制文件里
    slave-skip-errors #是跳过错误,继续执行复制操作

    4、验证连接MASTER
    # mysql -h192.168.0.1 -uslave -ppassword
    mysql> show grants for slave@192.168.0.2;

    5、在SLAVE上设置同步
    设置连接MASTER MASTER_LOG_FILE为主库的File,MASTER_LOG_POS为主库的Position
    ============================
    mysql> slave stop;
    mysql> CHANGE MASTER TO MASTER_HOST='192.168.0.1',MASTER_USER='slave',MASTER_PASSWORD='111111',MASTER_LOG_FILE='mysql-bin.000001',MASTER_LOG_POS=106;

    6、启动SLAVE服务
    mysql> slave start;

    7、查看SLAVE状态
    mysql> SHOW SLAVE STATUS\G;

    其中 Slave_IO_Running 和 Slave_SQL_Running 两列的值都为 "Yes",表明 Slave 的 I/O 和 SQL 线程都在正常运行。

    8、解锁主库表
    mysql> UNLOCK TABLES;

    到此主从库搭建成功。可以在主库上插入数据测试同步是否正常。

    --------------------------
    附:一些错误信息的处理,主从服务器上的命令,及状态信息。
    在从服务器上使用show slave status\G
    Slave_IO_Running,为No,
    则说明IO_THREAD没有启动,请执行start slave io_thread
    Slave_SQL_Running为No
    则复制出错,查看Last_error字段排除错误后执行start slave sql_thread
    查看Slave_IO_State字段空 //复制没有启动
    Connecting to master//没有连接上master
    Waiting for master to send event//已经连上
    主服务器上的相关命令:
    show master status
    show slave hosts
    show logs
    show binlog events
    purge logs to 'log_name'
    purge logs before 'date'
    reset master(老版本flush master)
    set sql_log_bin=

    从服务器上的相关命令:
    slave start
    slave stop
    SLAVE STOP IO_THREAD //此线程把master段的日志写到本地
    SLAVE start IO_THREAD
    SLAVE STOP SQL_THREAD //此线程把写到本地的日志应用于数据库
    SLAVE start SQL_THREAD
    reset slave
    SET GLOBAL SQL_SLAVE_SKIP_COUNTER
    load data from master
    show slave status(SUPER,REPLICATION CLIENT)
    CHANGE MASTER TO MASTER_HOST=, MASTER_PORT=,MASTER_USER=, MASTER_PASSWORD= //动态改变master信息
    PURGE MASTER [before 'date'] 删除master端已同步过的日志
    6.3.1 Master 同步线程状态
    以下列出了master的 Binlog Dump 线程 State 字段中最常见的几种状态。如果在master上没有 Binlog Dump 线程,那么同步就没有在运行。
    也就是说,没有slave连接上来。
    Sending binlog event to slave
    事件是由二进制日志构成,一个事件通常由更新语句加上其他信息。线程读取到一个事件并正发送到slave上。
    Finished reading one binlog; switching to next binlog
    读取完了一个二进制日志,正切换到下一个。
    Has sent all binlog to slave; waiting for binlog to be updated
    已经读取完全部未完成更新日志,并且全部都发送到slave了。它处于空闲状态,正等待在master上执行新的更新操作以在二进制日志中产生新
    的事件,然后读取它们。
    Waiting to finalize termination
    当前线程停止了,这个时间很短。

    6.3.2 Slave的I/O线程状态
    以下列出了slave的I/O线程 State 字段中最常见的几种状态。从MySQL 4.1.1开始,这个状态在执行 SHOW SLAVE STATUS 语句结果的
    Slave_IO_State 字段也会出现。这意味着可以只执行 SHOW SLAVE STATUS 语句就能了解到更多的信息。
    Connecting to master
    该线程证尝试连接到master上。
    Checking master version
    确定连接到master后出现的一个短暂的状态。
    Registering slave on master
    确定连接到master后出现的一个短暂的状态。
    Requesting binlog dump
    确定连接到master后出现的一个短暂的状态。该线程向master发送一个请求,告诉它要请求的二进制文件以及开始位置。
    Waiting to reconnect after a failed binlog dump request
    如果二进制日志转储(binary log dump)请求失败了(由于连接断开),该线程在休眠时进入这个状态,并定期重连。重连的时间间隔由 --
    master-connect-retry 选项来指定。
    Reconnecting after a failed binlog dump request
    该线程正尝试重连到master。
    Waiting for master to send event
    已经连接到master,正等待它发送二进制日志。如果master闲置时,这个状态可能会持续较长时间,如果它等待超过 slave_read_timeout 秒
    ,就会发生超时。这时,它就会考虑断开连接,然后尝试重连。
    Queueing master event to the relay log
    已经读取到一个事件,正把它拷贝到中继日志中以备SQL线程处理。
    Waiting to reconnect after a failed master event read
    读日志时发生错误(由于连接断开)。该线程在重连之前休眠 master-connect-retry 秒。
    Reconnecting after a failed master event read
    正尝试重连到master。当连接确定后,状态就变成 Waiting for master to send event。
    Waiting for the slave SQL thread to free enough relay log space
    relay_log_space_limit 的值非零,中继日志的大小总和超过这个值了。I/O线程等待SQL线程先处理中继日志然后删除它们以释放足够的空间

    Waiting for slave mutex on exit
    当前线程停止了,这个时间很短。

    6.3.3 Slave的SQL线程状态
    以下列出了slave的SQL线程 State 字段中最常见的几种状态:
    Reading event from the relay log
    从中继日志里读到一个事件以备执行。
    Has read all relay log; waiting for the slave I/O thread to update it
    已经处理完中继日志中的全部事件了,正等待I/O线程写入更新的日志。
    Waiting for slave mutex on exit
    当前线程停止了,这个时间很短。

    --------------
    常见的一些问题:

    一.从库SLAVE启动问题
    由于一些错误操作导致 CHANGE MASTER 和 SLAVE 服务无法启动,系统报错如下:
    *****************************************************************
    Could not initialize master info structure; more error messages can be found in the MySQL error log.
    *****************************************************************
    无法初始化master info结构,MySQL错误日志记录了更详细的错误信息。
    解决方法:
    1、查看MySQL错误日志,如:同步的上一个Position是多少,很多情况下无法启动服务是由于mysql识别的同步始终停留在上一个Position上。
    2、查看master.info和relay-log.info,master.info 记录MASTER相关信息,relay-log.info 记录当前同步日志信息。
    3、停止myslq服务,删除master.info和relay-log.info。
    4、启动mysql服务。
    5、重新CHANGE MASTER,重新启动SLAVE服务。

    二.主从不能同步
    show slave status;报错:Error xxx dosn't exist
    且show slave status\G:
    Slave_SQL_Running: NO
    Seconds_Behind_Master: NULL
    解决方法:
    stop slave;
    set global sql_slave_skip_counter =1 ;
    start slave;
    之后Slave会和Master去同步 主要看:
    Slave_IO_Running: Yes
    Slave_SQL_Running: Yes
    Seconds_Behind_Master是否为0,0就是已经同步了
    2,还需要做的一些优化与监视:
    show full processlist; //查看mysql当前同步线程号
    skip-name-resolve       //跳过dns名称查询,有助于加快连接及同步的速度
    max_connections=1000    //增大Mysql的连接数目,(默认100)
    max_connect_errors=100 //增大Mysql的错误连接数目,(默认10)

    查看日志一些命令
    1,  show master status\G;
    在这里主要是看log-bin的文件是否相同。
    show slave status\G;
    在这里主要是看:
    Slave_IO_Running=Yes
    Slave_SQL_Running=Yes
    如果都是Yes,则说明配置成功.
    2,在master上输入show processlist\G;
    mysql> SHOW PROCESSLIST\G
    *************************** 1. row ***************************
    Id: 2
    User: root
    Host: localhost:32931
    db: NULL
    Command: Binlog Dump
    Time: 94
    State: Has sent all binlog to slave; waiting for binlog to
    be updated
    Info: NULL
    如果出现Command: Binlog Dump,则说明配置成功.

    stop slave    #停止同步
    start slave    #开始同步,从日志终止的位置开始更新。
    SET SQL_LOG_BIN=0|1  #主机端运行,需要super权限,用来开停日志,随意开停,会造成主机从机数据不一致,造成错误
    SET GLOBAL SQL_SLAVE_SKIP_COUNTER=n  # 客户端运行,用来跳过几个事件,只有当同步进程出现错误而停止的时候才可以执行。
    RESET MASTER  #主机端运行,清除所有的日志,这条命令就是原来的FLUSH MASTER
    RESET SLAVE   #从机运行,清除日志同步位置标志,并重新生成master.info
    虽然重新生成了master.info,但是并不起用,最好,将从机的mysql进程重启一下,
    LOAD TABLE tblname FROM MASTER #从机运行,从主机端重读指定的表的数据,每次只能读取一个,受timeout时间限制,需要调整timeout时间。执行这个命令需要同步账号有 reload和super权限。以及对相应的库有select权限。如果表比较大,要增加net_read_timeout 和 net_write_timeout的值
    LOAD DATA FROM MASTER  #从机执行,从主机端重新读入所有的数据。执行这个命令需要同步账号有reload和super权限。以及对相应的库有select权限。如果表比较大,要增加net_read_timeout 和 net_write_timeout的值
    CHANGE MASTER TO master_def_list  #在线改变一些主机设置,多个用逗号间隔,比如
    CHANGE MASTER TO
    MASTER_HOST='master2.mycompany.com',
    MASTER_USER='replication',
    MASTER_PASSWORD='bigs3cret'
    MASTER_POS_WAIT() #从机运行
    SHOW MASTER STATUS #主机运行,看日志导出信息
    SHOW SLAVE HOSTS #主机运行,看连入的从机的情况。
    SHOW SLAVE STATUS (slave)
    SHOW MASTER LOGS (master)
    SHOW BINLOG EVENTS [ IN 'logname' ] [ FROM pos ] [ LIMIT [offset,] rows ]
    PURGE [MASTER] LOGS TO 'logname' ; PURGE [MASTER] LOGS BEFORE 'date'
    show binlog events; #查看主库二进制日志文件内容:
    注意:
    1.主辅库同步主要是通过二进制日志来实现同步的。
    2.在启动辅库的时候必须先把数据同步,并删除日志目录下的:master.info文件。因为master.info记录了上次要连接主库的信息,如果不删除,即使my.cnf里进行了修改,也不起作用。因为读取的还是master.info文件里的信息。

    mysqldump备份还原mysql数据库

    星期三, 五月 13th, 2009

    1、mysqldump

    1.1 备份

    mysqldump 是采用SQL级别的备份机制,它将数据表导成 SQL 脚本文件,在不同的 MySQL 版本之间升级时相对比较合适,这也是最常用的备份方法。
    现在来讲一下 mysqldump 的一些主要参数:

    1. --compatible=name

    它告诉 mysqldump, 导出的数据将和哪种数据库或哪个旧版本的 MySQL 服务器相兼容。值可以为 ansi、mysql323、mysql40、postgresql、oracle、mssql、db2、maxdb、no_key_options、 no_tables_options、no_field_options 等,要使用几个值,用逗号将它们隔开。当然了,它并不保证能完全兼容,而是尽量兼容。

    1. --complete-insert-c

    导出的数据采用包含字段名的完整 INSERT 方式,也就是把所有的值都写在一行。这么做能提高插入效率,但是可能会受到 max_allowed_packet 参数的影响而导致插入失败。因此,需要谨慎使用该参数,至少我不推荐。

    1. --default-character-set=charset

    指定导出数据时采用何种字符集,如果数据表不是采用默认的 latin1 字符集的话,那么导出时必须指定该选项,否则再次导入数据后将产生乱码问题。

    1. --disable-keys

    告诉 mysqldump 在 INSERT 语句的开头和结尾增加 /*!40000 ALTER TABLE table DISABLE KEYS */; /*!40000 ALTER TABLE table ENABLE KEYS */; 语句,这能大大提高插入语句的速度,因为它是在插入完所有数据后才重建索引的。该选项只适合 MyISAM 表。

    1. --extended-insert = true|false

    默认情况下,mysqldump 开启 --complete-insert 模式,因此不想用它的的话,就使用本选项,设定它的值为 false 即可。

    1. --hex-blob

    使用十六进制格式导出二进制字符串字段。如果有二进制数据就必须使用本选项。影响到的字段类型有 BINARY、VARBINARY、BLOB。

    1. --lock-all-tables-x

    在开始导出之前,提交请求锁定所有数据库中的所有表,以保证数据的一致性。这是一个全局读锁,并且自动关闭 --single-transaction 和 --lock-tables 选项。

    1. --lock-tables

    它和 --lock-all-tables 类似,不过是锁定当前导出的数据表,而不是一下子锁定全部库下的表。本选项只适用于 MyISAM 表,如果是 Innodb 表可以用 --single-transaction 选项。

    1. --no-create-info-t

    只导出数据,而不添加 CREATE TABLE 语句。

    1. --no-data,-d

    不导出任何数据,只导出数据库表结构。

    1. --opt

    这只是一个快捷选项,等同于同时添加 --add-drop-tables --add-locking --create-option --disable-keys --extended-insert --lock-tables --quick --set-charset 选项。本选项能让 mysqldump 很快的导出数据,并且导出的数据能很快导回。该选项默认开启,但可以用 --skip-opt 禁用。注意,如果运行 mysqldump 没有指定 --quick 或 --opt 选项,则会将整个结果集放在内存中。如果导出大数据库的话可能会出现问题。

    1. --quick,-q

    该选项在导出大表时很有用,它强制 mysqldump 从服务器查询取得记录直接输出而不是取得所有记录后将它们缓存到内存中。

    1. --routines-R

    导出存储过程以及自定义函数。

    1. --single-transaction

    该选项在导出数据之前提交一个 BEGIN SQL语句,BEGIN 不会阻塞任何应用程序且能保证导出时数据库的一致性状态。它只适用于事务表,例如 InnoDB 和 BDB。
    本选项和 --lock-tables 选项是互斥的,因为 LOCK TABLES 会使任何挂起的事务隐含提交。
    要想导出大表的话,应结合使用 --quick 选项。

    1. --triggers

    同时导出触发器。该选项默认启用,用 --skip-triggers 禁用它。

    其他参数详情请参考手册,我通常使用以下 SQL 来备份 MyISAM 表:

    /usr/local/mysql/bin/mysqldump -uyejr -pyejr "

    --default-character-set=utf8 --opt --extended-insert=false "

    --triggers -R --hex-blob -x db_name > db_name.sql

    使用以下 SQL 来备份 Innodb 表:

    /usr/local/mysql/bin/mysqldump -uyejr -pyejr "

    --default-character-set=utf8 --opt --extended-insert=false "

    --triggers -R --hex-blob --single-transaction db_name > db_name.sql

    另外,如果想要实现在线备份,还可以使用 --master-data 参数来实现,如下:

    /usr/local/mysql/bin/mysqldump -uyejr -pyejr "

    --default-character-set=utf8 --opt --master-data=1 "

    --single-transaction --flush-logs db_name > db_name.sql

    它只是在一开始的瞬间请求锁表,然后就刷新binlog了,而后在导出的文件中加入CHANGE MASTER 语句来指定当前备份的binlog位置,如果要把这个文件恢复到slave里去,就可以采用这种方法来做。

    例:mysqldump --quick --opt --default-character-set=utf8 -B test >test.sql

    1.2 还原

    mysqldump 备份出来的文件是一个可以直接倒入的 SQL 脚本,有两种方法可以将数据导入。

    1. 直接用 mysql 客户端

    例如:

    /usr/local/mysql/bin/mysql -uyejr -pyejr db_name < db_name.sql

    1. 用 SOURCE 语法

    其实这不是标准的 SQL 语法,而是 mysql 客户端提供的功能,例如:

    SOURCE /tmp/db_name.sql;

    这里需要指定文件的绝对路径,并且必须是 mysqld 运行用户(例如 nobody)有权限读取的文件。

    rhel5上安装mysql4.0.x

    星期二, 五月 12th, 2009

    在rhel5.1上安装mysql-4.0.18, configure的时候报如下错误:
    configure: error: This is a linux system and Linuxthreads was not
    found. On linux Linuxthreads should be used.  Please install Linuxthreads
    (or a new glibc) and try again.  See the Installation chapter in the
    Reference Manual for more information.

    看来需要新版本的glibc;configure的时候增加参数 --with-named-thread-libs="-lpthread" ;顺利通过。

    不过make的时候又出错了
    mysqld.o: In function `main':
    mysqld.cc:(.text+0x3ee0): undefined reference to `my_fast_mutexattr'
    mysqld.o:mysqld.cc:(.text+0x4143): more undefined references to `my_fast_mutexattr' follow
    collect2: ld returned 1 exit status
    make[4]: *** [mysqld] Error 1
    make[4]: Leaving directory `/usr/local/src/mysql-4.0.26/sql'
    make[3]: *** [all-recursive] Error 1
    make[3]: Leaving directory `/usr/local/src/mysql-4.0.26/sql'
    make[2]: *** [all] Error 2
    make[2]: Leaving directory `/usr/local/src/mysql-4.0.26/sql'
    make[1]: *** [all-recursive] Error 1
    make[1]: Leaving directory `/usr/local/src/mysql-4.0.26'
    make: *** [all] Error 2

    在mysql-4.0.26/sql/sql_class.cc文件中的
    #include <assert.h>
    (约39行)语句下面写如下代码

    #ifdef PTHREAD_ADAPTIVE_MUTEX_INITIALIZER_NP
    pthread_mutexattr_t my_fast_mutexattr;
    #endif

    make顺利通过;