使用AWS Glue在目标表中添加布尔列

Question

我是一个AWS胶新手，并希望您的帮助，在做一个非常简单的转变。我在努力学习AWS胶

下面是我的数据。我想在目标数据集中添加一个新列，如果电影等级高于5，请显示“是”，否则“否”。Movie_Id & User_id组合是数据集中的唯一字段。

我的数据

id  movie_id    user_id    rating  
1    abc         xyx        10
2    csd         xyx         8
3    abc         sss         3
4    csd         sss         5

结果

id   movie_id     user_id     rating   Yes/No
1    abc         xyx        10        Yes
2    csd         xyx         8        Yes
3    abc         sss         3        No
4    csd         sss         5        No

Answer 1

这可以使用UDF来完成，如下所示。您可以阅读更多关于它的这里。

def deriveBool(rec):
  if rec["rating"] > 5 :
    rec["Yes/No"] = 'Yes'
  else:
    rec["Yes/No"] = 'No'
  return rec    
datasource_mapped = Map.apply(frame = datasource0, f = deriveBool, transformation_ctx = "deriveboolvalues")