swoole服务器如何做到无人值守100%可用

在某些情况下,如系统负载过大swoole无法申请到内存而挂掉、swoole底层发生段错误、Server占用内存过大被内核Kill,或者被某些程序误杀。那swoole-server将无法提供服务,导致业务中断,公司收入出现损失。

有一个非常有效并且在BAT等大型公司常用的方案是crontab重启监控。
原理是每1分钟执行一次shell脚本,检测server的master进程是否存活,如果存在则跳过。如果发现主进程已经挂掉,则执行restart逻辑,先kill掉所有残留的子进程,然后重新启动Server。

使用下面的脚本需要将Server程序的进程名称设置为master,如 cli_set_process_title("php server.php: master")

如果在系统的crontab中加入:

*/1 * * * * /data/script/check_server.sh

/data/script/check_server.sh:

count=`ps -fe |grep "server.php" | grep -v "grep" | grep "master" | wc -l`

echo $count
if [ $count -lt 1 ]; then
ps -eaf |grep "server.php" | grep -v "grep"| awk '{print $2}'|xargs kill -9
sleep 2
ulimit -c unlimited
/usr/local/bin/php /data/webroot/server.php
echo "restart";
echo $(date +%Y-%m-%d_%H:%M:%S) >/data/log/restart.log
fi

可以改进的地方

  • 可以通过netstat -lnp 检测端口是否在监听,如果未在监听,则执行restart
  • 通过一个check.php发送一段带有逻辑的请求,试探服务器是否可以正常工作,如果无法工作,执行restart
  • 使用supervisor监控进程的工具
  • 如果在Docker容器中使用,可以在docker run时增加参数--restart=always

  • php_阿斌

    真正用这个的话,真要弄个这样子的脚本。

  • 无尽思绪

    没考虑过supervisord?

  • 蓝颜

    使用grep "master"是如何定位到主进程的(ps显示列中没有这个标记啊)?

  • 程序猿始终不够

    grep 这种生产环境偶尔会出现获取到的count不准确的问题。原因可能是crontab使用多进程,进程控制可能存在缺陷的问题。https://github.com/huyanping/Zebra-Daemon 这个包可以精确保证脚本单例运行

  • 林超

    http://mmonit.com/monit/ 这个也不错

  • 完美才不完美

    netstat -lnp 这种方式在重负载下很吃CPU, 雪上加霜. check.php 在系统繁忙时发请求很有可能被拒掉, 这个时候重启会让服务雪上加霜. 可以在daemon开始的时候, 打开一个文件然后获取一个写锁. 守护脚本也打开文件并设置写锁, 然后阻塞, 一旦写锁获得成功, 则说明daemon已经挂了. 此时守护脚本重启daemon并放弃写锁.

  • 井田 何渐兴

    这里都是大神呀,强,我要向您们学习

  • 特大号废柴

    学习了

  • 刘朱石强

    这里潜台词是启动进程的时候有把master进程,worker进程分别改名。swoole_set_process_name http://wiki.swoole.com/wiki/page/125.html

  • 咸鱼

    master 是主进程的进程名称

  • 让一切随风

    swoole挂掉重启 菜鸟 血与泪的教训 分享给大家 http://www.qiumoon.com/index.php?s=/Home/Article/detail/id/21.html

  • 张帅

    我是把grep "master"去掉了的,貌似加上有问题,去掉执行成功了的[呵呵]

  • a
    a

    netstat 可以抛弃了,用ss吧

  • fans

    为什么用ps -fe |grep "server.php" | grep -v "grep" | grep "master" | awk '{print $2}'|xargs kill -9命令kill掉master进程,子进程不会退出。用kill process_id 杀死master进程,子进程就会退出

  • select

    怎么设置同步还是异步模式呢

  • ﹏飄流の風ん

    差评!就不能自行判断内存的状态么, 非要借助工具( crontab )检查存活状态。 差评!这是一个不稳定的服务。

  • 乔嘉

    用 lsof -i 端口 + kill 15 定位比较准确 , 如果实时检查程序是否还在运行,可以检查端口是否占用

  • CoderKing

    systemd完美解决,根本不需要这个啊!

  • 傻大猫

    为啥要挂掉swoole 写稳定的业务程序啊

  • 为什么我的启动不成功?手动运行脚本可以成功启动。但是用cron定时运行就启动不了。 手动启动后,定时任务执行可以打印Server is already running.证明成功运行了启动的命令,但就是没有启动的时候,cron调用shell启动不成功。哪个知道为什么?

  • vary

    !/bin/bash

    for i in ps -eaf |grep swoole |grep -v sh |grep -v grep | awk '{print $2}' do echo "kill swoole pid: [ $i ]" kill -9 $i done ulimit -c unlimited

    !/bin/bash

    count=ps -fe |grep "swoole" | grep -v "grep" | grep "master" | wc -l

    if [ $count -lt 1 ]; then echo '重启'; /root/home/shell/killswoole.sh /usr/local/php/bin/php /root/html/swoole.myinit.com/time/Time_Server.php echo $(date +%Y-%m-%d_%H:%M:%S) >/root/html/swoole.myinit.com/logs/restart.log echo "restart" fi

    执行失败,是把自己这个脚本(带有swoole名)进程给干掉了