支持科学计算的配置管理

Question

在过去的几年里，我一直致力于开发和维护一个预报近岸海浪的系统。我们的团队刚刚收到了用于进一步开发的大量赠款，因此，我们正在利用这个机会重构旧系统的许多组件。

我们还将收到一台新的服务器来运行该模型，因此我借此机会考虑我们如何设置该系统。基本上，需要采取的步骤是：

1. 需要下载和安装一些标准包和库，如编译器和数据库。
2. 一些自定义的科学模型需要从源代码中下载和编译，因为它们通常不是作为包提供的。
3. 需要创建新的用户来管理数据库和运行模型。
4. 需要从源代码管理和安装中签出一组管理模型-数据库交互的脚本。
5. 需要设置Crontab以定期运行脚本，以便生成预测。

我一直在考虑应用诸如木偶、卡皮拉诺或织物等工具来实现上述步骤的自动化。实现上述大部分功能似乎是完全可能的，但有几个用例是我想知道的：

• 在我的初步研究中，我发现了很少的例子，也很少讨论如何使用这些系统来抽象和自动化从源构建自定义组件的过程。
• 我们可能必须在与Internet隔离的机器上部署--也就是说，所有配置和设置文件都必须进入USB密钥，该密钥可以插入到可以连接到运行模型的服务器的终端中。

我认为这是一个学习新工具的机会，它将帮助我自动化我的工作流程，但我不确定我应该从哪个工具开始。如果社会上有任何成员能够提出支持上述工作流程和科学计算问题的工具，我将不胜感激。

我们的生产服务器将运行Linux，但对OS的支持将是一个额外的好处，因为它将允许开发团队在VirtualBox之外设置测试安装。

Answer 1

这里的人可能提供了很好的信息，但你也可能想问问科学界，因为每年秋季AGU会议上都会有关于这个问题的演讲和海报。其中大部分都需要处理地球科学数据的工作流管理，这可能比预测工作有更严格的要求。

我知道我在上一次会议上看到了一些关于这个问题的报告，但是AGU的新的抽象系统由于试图通过大量的摘要和/或按纪律浏览，而非常糟糕。(以及次级纪律？不可能)。

有些人正在使用工作流管理系统(例如。( 开普勒和塔韦纳)，但我认为他们没有像网格和计算集群那样深入到种源的系统方面。即使是地球科学的人，他们似乎比其他领域更认真地对待起源，他们似乎仍然更加关注数据输入，而不是那些类型的处理器/ OS /版本的库安装/等等。

用来描述这个领域的术语到处都是--我看到它被称为“网络基础设施”(主要是NSF的东西)、“科学信息学”等等。抱歉，我不能说得更具体，因为这不是我的领域。(抱怨有关这类事情的缺乏文件，是的，但是我在生成数据后很好地处理服务数据)。

Answer 2

您正在使用的linux发行版是什么，您说的是什么软件--“通常不是作为软件包提供的”？在我看来，使自动化这一步骤变得容易的一种方法是解决根本问题并完成包！这可能需要一些修改，但它使未来的管理工作更容易为您自己和社区。

大多数软件包管理人员只是一系列的脚本，以净化软件的管理。在这个角色中，他们非常擅长编写编译、分发、安装和升级软件的脚本。即使您没有兴趣参与到您的软件的上游移动，大多数发行版都有制作您自己软件的存储库或添加到存储库的方法，这些方法应该是可移植的。

您的其他步骤是非常基本的，只有几行脚本代码，所有这些都将结合在一起。每个步骤的脚本和将它们全部串在一起的脚本不应该超过几十行。这些脚本可以很容易地在本地和互联网资源之间切换。