我将XML文件存储在s3桶中,并运行爬虫来生成目录表中的模式。生成了目录表,但是当我在AWS Glue Studio中检查输出时,我可以看到以0开头的数据正在被删除。00034325 => 34325甚至从int到string的目录表模式数据类型的转换都不能解决这个问题。
请告诉我如何解决这个问题。
发布于 2022-07-16 00:48:08
这是爬虫虫。与胶水中的映射无关。爬虫先推断类型,胶水作业只消耗那个结果。据我所知,没有办法改变进入的类型,爬虫提出-相当一个恼人的问题。我能想到的唯一选择是在数据到达桶之前对其进行预处理,并在爬虫抓取数据之前将值转义为字符串。
https://stackoverflow.com/questions/70718568
复制相似问题