Mesos:无法获取/更新executor的资源统计信息

Question

我们遇到了来自mesos-agent的完整日志问题，消息如下：

2018-06-19T07:31:05.247394+00:00 mesos-slave16 mesos-slave[10243]: W0619 07:31:05.244067 10249 slave.cpp:6750] Failed to get resource statistics for executor 'research_new-benchmarks_production_testbox-58-1529393461975-1-mesos_slave16' of framework Singularity-PROD: Failed to run 'docker -H unix:///var/run/docker.sock inspect mesos-7560fb72-28d3-4cce-8cb0-de889248cf93': exited with status 1; stderr='Error: No such object: mesos-7560fb72-28d3-4cce-8cb0-de889248cf93

或

2018-06-19T07:31:09.904414+00:00 mesos-slave16 mesos-slave[10243]: E0619 07:31:09.903687 10251 slave.cpp:4721] Failed to update resources for container b9a9f7f9-938b-4ec4-a245-331122471769 of executor 'hera_listening-api_production_checkAlert-93-1529393402085-1-mesos_slave16-us_west_2a' running task hera_listening-api_production_checkAlert-93-1529393402085-1-mesos_slave16 on status update for terminal task, destroying container: Failed to determine cgroup for the 'cpu' subsystem: Failed to read /proc/14447/cgroup: Failed to open file: No such file or directory

我们运行3x ha mesos-master，马拉松框架，奇点框架-发生在两个框架的任务中。任务运行，crons (由于奇点)运行也正常，但我对塔式消息感到困惑。我们有600多个长时间跑的马拉松任务，每隔几分钟就有30多个crons开始。

Docker版本: 18.03.0-ce Mesos版本: 1.4.0-2.0.1马拉松版本: 1.4.2-1.0.647.ubuntu1604奇点版本: 0.15.1

在装有AWS kernel - 4.4.0-1060-aws的Ubuntu 16.04上运行的主机和从机

我认为在任务完成后，从站上的mesos执行器被删除了，但mesos仍然试图从docker获取信息，那里的任务是不可见的。

有什么想法吗？谢谢

Answer 1

Marathon是一个用于永久任务的调度器框架。虽然任务成功退出，但它仍然会一直坚持重新调度任务。

我们可以看到health check是它的一个重要特性。也许可以试试chronos。这是另一个运行在Apache mesos上的框架。