如何在qsub的bash脚本中使用ld-linux-x86-64.so.2

Question

我有pip安装的tensorflow 1.4.1，但是系统默认的gcc库并不是最新的，它正在运行。

import tensorflow

将导致此错误

ImportError: /lib64/libc.so.6: version 'GLIBC_2.16' not found

因为我没有根权限，所以我创建了gcc库，并使用

alias python_cpu='/path/ld-linux-x86-64.so.2 --library-path /path/other_libs /path/python'

在CPU上运行tensorflow。

现在我已经生成了数千个bash脚本，并希望使用qsub运行它们。

在每个脚本中，oo.sh写

#!/usr/bin/bash python_cpu python_script.py different_params

我尝试过以下的想法，但是所有的都失败了。

1. 使用qsub -V oo.sh将alias传递给oo.sh。
2. 在bash脚本中使用alias python_cpu=""。
3. 如果没有alias，请使用'/path/ld-linux-x86-64.so.2 --library-path /path/other_libs /path/python' python_script.py params。

顺便说一句，TF的alias在bash命令行中运行得很好。对现在该怎么办有什么建议吗？

Answer 1

让脚本按

#!/usr/bin/bash

python_cpu='/path/ld-linux-x86-64.so.2 --library-path /path/other_libs /path/python'

$python_cpu python_script.py different_params

而不是使用alias

Answer 2

因为您在集群上，所以应该尝试使用模块文件。理想情况下，设置集群使用python的sysadmin将为python和tensorflow提供适当配置的模块。如果没有，您可以发出一个简单的请求来添加或指向适当的libc.so文件。然后使用以下命令在oo.sh中加载模块文件

module load foo-module

或者，您可以编写自己的模块文件来设置所需的环境。

这里的基础教程