我正在用Python构建一个独立的数据分析项目。由于该项目需要可扩展,它需要一个相当坚实的数据处理和分析管道。
到目前为止,我计划使用Singer (https://www.singer.io/)来摄取来自多个源的数据,其中有一个PostgreSQL目标。
这条管道目前看起来有点像这样:数据源--> ingest ->存储在postgreSQL DB ->数据处理层-->分析环境中。
我已经编写了Pandas代码来清理数据处理层中的数据--但我不确定当数据从数据库中提取到分析环境中时,清理数据是否是最佳实践。特别是当每次数据被提取时,数据处理将被重复。我应该处理摄取层中的数据吗?我怎么才能用Singer管道做到这一点呢?
发布于 2022-05-13 13:13:41
就像往常一样。
进食前清洁数据
优点
缺点
摄入过程中的清洁数据
优点
etc.
缺点
这只是数据建模过程中的一个初步检查,在数据建模期间,您可能需要做进一步的cleaning。
的责任
进食后清洁数据
优点
它不只是用于初步检查,例如:去重复,过滤不需要的离群值,etc.
可以在数据模型的基础上定义
缺点
这不是一个详尽的清单,但我希望它表明你应该如何开始思考这个问题。
https://stackoverflow.com/questions/72228525
复制相似问题