如何使用supervisord正确管理rabbitmq

Question

我的supervisord.conf中的当前部分如下所示：

程序:rabbitmq命令=/usr/sbin/rabbitmq-server

当我尝试使用supervisord ( supervisorctl stop rabbitmq)停止rabbitmq时，rabbitmq进程根本不会关闭。rabbitmq文档还提到永远不要使用kill，而要使用rabbitmqctl stop。我猜supervisord只是简单地杀死了进程--因此rabbitmq的结果很差。我在supervisord中找不到任何选项来指定自定义的停止命令。

你有什么建议吗？

Answer 1

我的解决方案是编写一个名为rabbitmq.sh的包装器脚本，如下所示：

# call "rabbitmqctl stop" when exiting
trap "{ echo Stopping rabbitmq; rabbitmqctl stop; exit 0; }" EXIT

echo Starting rabbitmq
rabbitmq-server

之后，修改supervisord.conf：

[program:rabbitmq]
command=path/to/rabbitmq.sh 

Answer 2

此脚本将RabbitMQ作为后台进程启动(使用'&')，这会导致更新/创建pid文件(请参阅http://www.rabbitmq.com/man/rabbitmqctl.1.man.html下的'wait‘)。

在rabbit启动后，将使用一个循环来验证pid是否仍在运行。如果rabbit崩溃或被手动关闭(在supervisord之外)，那么脚本将以1退出，supervisord将接管。

echo >> ./rmq.txt文件用于调试目的，可以在生产环境中将其注释掉(我用它来监视启动/关闭/死亡状态)。

supervisord很高兴，因为它可以看到一个正在运行的进程，一个退出将触发stop_rmq函数，该函数调用'rabbitmqctl stop‘来进行干净的关机。

#!/bin/bash

# Script to manage RMQ with supervisord

# Shut down rmq
function stop_rmq {

  echo "Stopping RabbitMQ..."
  echo "Stopping RabbitMQ..." >> ./rmq.txt
  rabbitmqctl stop
  echo "RabbitMQ stopped"
  echo "RabbitMQ stopped" >> ./rmq.txt
  #exit 0
}

# Set up the trap
#trap stop_rabbit TERM KILL HUP INT SIGTERM SIGKILL SIGHUP SIGINT
trap stop_rmq exit

# Start rmq
echo "Starting RabbitMQ..."
echo "Starting RabbitMQ..." >> ./rmq.txt
# Start Rabbitmq in the background (causes the pid file to be updated)
# Note that the pid file location can be overridden with the rmq 'RABBITMQ_PID_FILE' variable
/usr/sbin/rabbitmq-server &
rabbitmqctl wait /var/lib/rabbitmq/mnesia/rabbit@$HOSTNAME.pid
echo "RabbitMQ Started"
echo "RabbitMQ Started" >> ./rmq.txt

while true; do
  #ps $(cat /var/lib/rabbitmq/mnesia/rabbit@$HOSTNAME.pid)
  ps -o pid,cmd,etime $(cat /var/lib/rabbitmq/mnesia/rabbit@$HOSTNAME.pid)
  if (($? > 0)); then
    echo "RabbitMQ Died"
    echo "RabbitMQ Died" >> ./rmq.txt
    exit 1
  fi
  #echo "Sleeping..."
  sleep 10
done

下面是supervisord脚本生成的输出：

foo@bar:/# supervisorctl tail rmq

Starting RabbitMQ...
Waiting for rabbit@a2d2c8f9cad2 ...
pid is 45220 ...

              RabbitMQ 3.3.5. Copyright (C) 2007-2014 GoPivotal, Inc.
  ##  ##      Licensed under the MPL.  See http://www.rabbitmq.com/
  ##  ##
  ##########  Logs: /var/log/rabbitmq/rabbit@a2d2c8f9cad2.log
  ######  ##        /var/log/rabbitmq/rabbit@a2d2c8f9cad2-sasl.log
  ##########
              Starting broker... completed with 0 plugins.
...done.
RabbitMQ Started
  PID CMD                             ELAPSED
45220 /usr/lib/erlang/erts-6.1/bi       00:05
  PID CMD                             ELAPSED
45220 /usr/lib/erlang/erts-6.1/bi       00:15
  PID CMD                             ELAPSED
45220 /usr/lib/erlang/erts-6.1/bi       00:25
  PID CMD                             ELAPSED
45220 /usr/lib/erlang/erts-6.1/bi       00:35
  PID CMD                             ELAPSED
45220 /usr/lib/erlang/erts-6.1/bi       00:45
  PID CMD                             ELAPSED
45220 /usr/lib/erlang/erts-6.1/bi       00:55
  PID CMD                             ELAPSED
45220 /usr/lib/erlang/erts-6.1/bi       01:05
  PID CMD                             ELAPSED
45220 /usr/lib/erlang/erts-6.1/bi       01:15
  PID CMD                             ELAPSED
45220 /usr/lib/erlang/erts-6.1/bi       01:25

Answer 3

你已经回答了你自己的问题。在正常操作中，永远不要在任何进程上使用kill，除非这是记录在案的管理它的正常方法。对于RabbitMQ，记录的过程是使用rabbitmqctl stop或使用rabbitmqserver stop。

没有比shell脚本更复杂的东西来管理RabbitMQ了，因为shell脚本会让用户尝试通过rabbitmqserver start重新启动。如果这不能立即工作，那么RabbitMQ就会因为内存不足、磁盘空间耗尽或流氓系统管理工具删除了一些rabbitmq二进制组件而严重停机。

在正常操作中，RabbitMQ有一个内部主管，它会尝试关闭并重新启动RabbitMQ，因此如果您删除二进制文件，它将无法重新启动。当使用像chef，puppet，cfengine这样的工具时，不要重复推出二进制包文件。只需检查所有内容是否都在应有的位置。