回答情况：
提问时间：
问题标签：
我的目标是通过cloudformation创建一个粘合作业。im处理的问题是Command属性似乎不支持内联代码(就像cloudformation lamba Code属性那样)。
浏览 2提问于2018-11-03得票数 0
我们如何在动态框架或数据框架上使用PySpark (Python)在AWS-Glue脚本中编写用户定义的函数？
浏览 1修改于2018-09-22得票数 1
我的计划是转换json文件并将其上传到s3中，然后再次将该文件爬入到数据目录的aws-glue中，然后在amazon redshift中将数据作为表上传。现在，“示例3: Python代码转换嵌套的JSON并将其输出到ORC”中的代码问题显示了一些错误：不是我迷路了，因为我是aws-glue的新手，我需要在
浏览 2修改于2018-05-28得票数 0
我正在设计一个应用程序，它应该每15分钟从S3读取一个txt文件，解析由|分隔的数据，并将这些数据加载到3个不同的aws区域的aerospike集群中。文件大小范围为0-32 GB，最大记录数为500-1.3亿条。 我计划在每个亚马逊网络服务区域部署一个自定义的Java进程，它将从S3下载一个文件，并使用多个线程加载到aerospike中。 我刚刚遇到了aws glue。谁能告诉我，我是否可以使用aws glue将这大块数据加载到aerospike中？或任何其他建议，以建立一个高效和高性能的应用程序？ 提前感谢！
浏览 9提问于2018-12-21得票数 0
回答已采纳
我有JSON格式的数据，在它的示例"2017-06-29T00:00:00-0400“中具有ISO 8601时间戳格式，并且我试图使用AWS Glue为Athena/Quicksight使用进行转换；然而，我尝试过的每个转换组合仍然将目标字段视为字符串(在爬行目标json文件之后)。在尝试查询雅典娜中的表时，我还会收到一个HIVE_BAD_DATA错误解析字段。
浏览 0提问于2019-01-15得票数 2
回答已采纳
我的Ariflow脚本有几个任务，使用python操作符启动一个使用boto3的粘合作业。即使流程依赖于Ariflow中的每个任务。连续的任务不会等到前一个任务成功完成。 一旦调用了前一个粘合作业任务，就会调用下一个粘合作业任务。最后，尽管气流看起来成功完成，但胶水作业仍然运行了几分钟。 from airflow import DAG from datetime import datetime, timedelta
from airflow
浏览 29修改于2019-05-28得票数 6
我正在使用Spark和scala，我也在使用aws胶水库以及胶水脚本。当我使用scala版本2.12时，我得到了这个错误。
import com.amazonaws.services.glue.{DataSource, DynamicFrame, GlueContext}import org.apache.spark.{SparkConf, SparkContext}
import scala.collection.JavaConvert
浏览 8修改于2021-05-14得票数 0
我可以为"Spark“类型的胶水作业实现这一点："--continuous-log-logGroup" = "/aws-glue/jobs/glue-job-1"
但是相同的参数对Python Shell作业不起作用(日志仍然转到默认日志组/aws-glue/python-job/output和/aws-glue&
浏览 1提问于2020-05-06得票数 3
默认情况下，AWS作业日志输出和两个不同的CloudWatch日志( /aws-glue/jobs/error和/aws-glue/jobs/output )的错误。当我在脚本中包含用于调试的print()语句时，它们会被写入错误日志(/aws-glue/jobs/error)。log4jLogger = sparkContext.有人知道如何将调试日志语句写入输出日志(/aws-glue/jobs
浏览 0修改于2019-03-07得票数 35
回答已采纳
我有AWS GLUE Python应用程序，默认情况下，日志可以在Cloudwatch Log Group /aws-glue/jobs/output和/aws-glue/jobs/error中分别用于
浏览 35修改于2019-03-07得票数 2
当我运行ETL作业时，它应该在日志组( aws-glue/jobs/output和aws-glue/jobs/error )下创建一个日志流，但它无法创建这样的日志流，最终作业也会失败。
浏览 1修改于2017-08-24得票数 4
由于Aws-Glue是无服务器的，因此我没有任何固定的IP。请对此提出任何解决方案。
浏览 0修改于2018-07-04得票数 1
我正在用python执行一个AWS-Glue作业。它的失败与错误“命令与退出代码137失败”不一致，并且在没有任何更改的情况下执行的非常好。
这个错误意味着什么？
浏览 4修改于2020-01-21得票数 3
=log_stream, datefmt=date_format)然而，当我这样做时：我无法在Cloudwatch /aws-glue
浏览 6提问于2022-06-10得票数 0
回答已采纳
因为当我在“错误日志”链接或“日志”链接中单击时，我总是在AWS CloudWatch中得到以下消息：The specific log group: /aws-glue
浏览 0修改于2020-08-07得票数 6
我尝试转换为DataFrame，然后编写为json，如下所示，但不起作用
customerDF.repartition(1).write.mode("overwrite").json("s3://bucket/aws-glue
浏览 2提问于2018-05-05得票数 2
], "arn:aws:s3:::crawler-public*", ], "arn:aws:s3:::aws-glue
浏览 24提问于2022-03-31得票数 1
jobname = args['JOB_NAME']header.repartition(1).write.parquet('s3://bucket/aws-glue
浏览 2提问于2018-03-07得票数 11
回答已采纳
实际的Schema类似于：(由AWS-Glue爬虫提取) `event_time` string,
`event_id
浏览 8修改于2018-02-07得票数 0
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号