我正在使用Linux18.04,我想在EC2上吃一个火花集群。
我使用导出命令来设置环境变量。
export AWS_ACCESS_KEY_ID=MyAccesskey
export AWS_SECRET_ACCESS_KEY=Mysecretkey但是当我运行命令午餐星星团时,我得到
错误:必须设置环境变量AWS_ACCESS_KEY_ID
我把我使用的所有命令都放在了错误的地方:
sudo mv ~/Downloads/keypair.pem /usr/local/spark/keypair.pem
sudo mv ~/Downloads/credentials.csv /usr/local/spark/credentials.csv
# Make sure the .pem file is readable by the current user.
chmod 400 "keypair.pem"
# Go into the spark directory and set the environment variables with the credentials information
cd spark
export AWS_ACCESS_KEY_ID=ACCESS_KEY_ID
export AWS_SECRET_ACCESS_KEY=SECRET_KEY
# To install Spark 2.0 on the cluster:
sudo spark-ec2/spark-ec2 -k keypair --identity-file=keypair.pem --region=us-west-2 --zone=us-west-2a --copy-aws-credentials --instance-type t2.micro --worker-instances 1 launch project-launch我对这些东西并不熟悉,任何帮助都是非常感谢的。
发布于 2020-01-05 21:38:12
环境变量可以简单地在sudo之后以表单ENV=VALUE传递,它们将被下面的命令所接受。我不知道这种使用是否有限制,所以我的示例问题可以通过以下方法解决:
sudo AWS_ACCESS_KEY_ID=ACCESS_KEY_ID AWS_SECRET_ACCESS_KEY=SECRET_KEY spark-ec2/spark-ec2 -k keypair --identity-file=keypair.pem --region=us-west-2 --zone=us-west-2a --copy-aws-credentials --instance-type t2.micro --worker-instances 1 launch project-launch发布于 2020-06-05 10:48:41
还可以使用get子命令AWS_ACCESS_KEY_ID和AWS_SECRET_ACCESS_KEY检索aws configure值。
AWS_ACCESS_KEY_ID=$(aws configure get aws_access_key_id)
AWS_SECRET_ACCESS_KEY=$(aws configure get aws_secret_access_key) 在命令行中:
sudo AWS_ACCESS_KEY_ID=$(aws configure get aws_access_key_id) AWS_SECRET_ACCESS_KEY=$(aws configure get aws_secret_access_key) spark-ec2/spark-ec2 -k keypair --identity-file=keypair.pem --region=us-west-2 --zone=us-west-2a --copy-aws-credentials --instance-type t2.micro --worker-instances 1 launch project-launch来源:AWS命令行界面用户指南
https://stackoverflow.com/questions/59603481
复制相似问题