首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >数据摄入之前、期间或之后的数据清理?

问数据摄入之前、期间或之后的数据清理?
EN

Stack Overflow用户
提问于 2022-05-13 11:00:35
回答 1查看 224关注 0票数 1

我正在用Python构建一个独立的数据分析项目。由于该项目需要可扩展,它需要一个相当坚实的数据处理和分析管道。

到目前为止,我计划使用Singer (https://www.singer.io/)来摄取来自多个源的数据,其中有一个PostgreSQL目标。

这条管道目前看起来有点像这样:数据源--> ingest ->存储在postgreSQL DB ->数据处理层-->分析环境中。

我已经编写了Pandas代码来清理数据处理层中的数据--但我不确定当数据从数据库中提取到分析环境中时,清理数据是否是最佳实践。特别是当每次数据被提取时,数据处理将被重复。我应该处理摄取层中的数据吗?我怎么才能用Singer管道做到这一点呢?

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2022-05-13 13:13:41

就像往常一样。

进食前清洁数据

优点

  • It降低网络流量/数据量
  • 它需要更少的存储

缺点

  • 它需要来自每个数据源的额外步骤,很难编排,监视这些

摄入过程中的清洁数据

优点

etc.

  • 初步检查位于
  • 的单一位置,您可以报告指标
    • 的摄入、下降、摄入下降的比率,以及
    • 。

  • 这个步骤可以被编排和监视更容易的

缺点

这只是数据建模过程中的一个初步检查,在数据建模期间,您可能需要做进一步的cleaning。

  • 维护这些规则是数据管道工程师

的责任

进食后清洁数据

优点

它不只是用于初步检查,例如:去重复,过滤不需要的离群值,etc.

可以在数据模型的基础上定义

  • 不同的清理步骤

缺点

  • 它需要更多的存储
  • 每个数据科学家必须实现他/她自己的清理步骤

这不是一个详尽的清单,但我希望它表明你应该如何开始思考这个问题。

票数 1
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/72228525

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档