在AWS胶中提供用户定义的列名

Question

我有很多拼花文件。我需要通过Amazon读取它们，然后为正在读取的表提供列名。

问题是，拼花已经有了列名，正在被爬虫读取，并显示在表中。是否可以在胶水中为这些拼花文件提供我的列名？

Answer 1

若要将检测到的列名替换为您自己的名称，您可以：

• 在内置转换上使用下列DynamicFrame 之一
  • ApplyMapping -向这个DynamicFrame应用一个声明式映射，并返回一个新的DynamicFrame，并应用这些映射。(源列、源类型、目标列、目标类型)
  • RenameField --在这个DynamicFrame中重命名一个字段，并返回一个新的DynamicFrame，并将该字段重命名。(oldName -> newName)

​

有关详细信息，请参阅Scala或Python ETL编程指南。

或者尝试手动更新数据目录字段名，如果不需要继续重新抓取数据(或者如果需要，则可以防止胶水爬虫通过爬行器配置更新现有的数据目录表)。

或者，如果您的需求更加离散，则可以使用map转换将DynamicFrame中的每个DynamicRecord转换为您选择的新DynamicRecord。