回答情况：
提问时间：
问题标签：
2回答
我正在使用Python和Pandas做一个数据质量项目。我有一个输入数据，其中每一列都是分类数据，我想返回一个数据，其中每一列包含该列中最常见的10个类别，以及所述类别的名称(即键值对或带有分类变量的元组:每个单元格中的计数)。
浏览 0提问于2018-06-18得票数 0
回答已采纳
目前正在尝试编写代码，以检查数据质量为7GB的数据文件。我试着用谷歌搜索，但没有结果。最初，代码的目的是检查有多少是nulls/NaNs，然后将其与另一个数据文件连接起来，并比较每个文件之间的质量。我想知道这里是否有人愿意使用Dask共享他们的数据质量python代码。谢谢
浏览 9提问于2022-02-21得票数 0
回答已采纳
1回答
我正在工作的数据质量监测项目，这是新的我。我首先使用一个数据分析来分析我的数据，并对它有一个全局视图。接下来，我考虑定义一些数据质量规则，但我对如何实现这些规则感到有点困惑。
浏览 7提问于2021-04-19得票数 1
2回答
我的问题是: DQS是一次性加载执行清理操作所需的所有数据，还是在清理过程中不断向数据源(在我的示例中为oracle)提交查询？
浏览 4修改于2015-09-07得票数 1
回答已采纳
我正在做一个数据质量项目。我正在尝试使用pandas分析profileReport生成一个数据质量报告，但是当我验证该报告时，它显示我没有缺失值，而我确实有空单元格。或者你还有其他的建议吗？
浏览 15修改于2021-04-06得票数 1
2回答
例如，gem应该将以下语句标记为true (这只是一个示例，没有必要扩展标准字符串)'woodpecker' == 'Wodpekcer'
任何用于数据质量检查的红宝石
浏览 1修改于2013-12-20得票数 0
回答已采纳
1回答
有时我们会发现有些文件没有被处理，或者它们不在bigquery数据集中。简而言之，我想要的是能够在输入ETL之前比较源环境和目标环境/比较数据，以及退出ETL后的数据，告诉您我没有忘记任何事情，我可以编写一些脚本来完成这个任务，但是我想知道是否已经创建了一些东西。
浏览 0修改于2023-01-02得票数 1
2回答
因此，我手动清理了我的数据集，这是相当耗费人力和时间的。
我的方法是正确的，还是有什么工具或方法可以清除图像数据？实际上，这听起来很有争议，因为这个清洁工具应该为模型的构建做些什么--对图像进行分类。
浏览 0修改于2020-01-11得票数 2
1回答
我在处理字符串格式的日期字段时遇到了问题，所以我试图对基础进行清理。我的基中的默认格式日期字符串是"%d/%m/%Y"，但是由于这来自csv文件，可能存在一些不需要的字符串。当我试图用以下方法进行解析时，我会遇到错误：就像这样，但是每次我运行时都会得到一个新的问题字符：处理这件事最好的方法是什么？
浏览 4提问于2017-04-07得票数 2
回答已采纳
1回答
我在Matlab中有一个75x60数组。我在试着做PCA。我试图通过确保eig(矩阵)返回的最大特征值与u v=svd(矩阵)中的d(1)*d(1)返回相同的内容来检查我的工作。他们太离谱了。我能看到的唯一可能出错的就是贬低。 %v is a 75x60 array avgVector= mean(v,1); v = v-muMatrix;
浏览 6提问于2014-02-02得票数 0
回答已采纳
令人困惑的是，即使在概要分析中，也提到了数据清理和匹配！我的目标是在我们的项目中实现它。提到的其他点，如数据清理和匹配，都很简单，我们已经实现了它。
浏览 3修改于2021-08-04得票数 0
我有一个web界面，在那里用户上传csv文件，从Excel转换，与文件中的垃圾数据，例如一堆逗号分隔的空行后，实际数据结束后的文件结束。我想阻止用户上传这样的文件。
浏览 18提问于2019-10-17得票数 0
该模型使用培训数据进行培训，我们随机向一些人展示广告，而有些人没有，并记录了他们各自的反应。
该模型的一个初步实现是实时运行，并且很好地对显示广告的人进行分类。但是，每隔几天，就会获得新的数据，并使用整个数据集(每次再培训后的数据集都会变大)对模型进行再培训。但人们担心，如果我们继续这样做，它的性能可能会下降，因为当前的模型实例会影响输入的新数据，用于训练未来的模型实例:没有随机显示广告的客户的百分比将会下降，只有当模型认为他们会购买广告上的内容时，才会显示出越来越多的客户数据我们担心我
浏览 0提问于2018-10-13得票数 1
回答已采纳
当在传输过程中转换数据时，我将所有被拒绝的(即失败的)转换移动到一个拒绝表中。但是，我只得到了第一个错误的条目： 示例源数据： Name | Salary | ZipcodePaul | 12000 | 90210
Ringo
浏览 18提问于2019-10-16得票数 0
我已经从Studio中创建了一个数据质量监控，并且还使用了Sagemaker 创建了一个模型数据质量监控作业。错误：
作业输入没有数据
从日志中，我可以看到它在后台使用Java。不知道怎么调试？
浏览 5提问于2022-02-02得票数 0
1回答
是否有任何方法可以定义可应用于数据帧的数据质量规则。定义规则的模板应该足够简单，任何外行都可以定义，然后我们可以将这些规则转换为pyspark代码，并在数据上运行它们。
我的想法如下所示。
浏览 3提问于2020-11-27得票数 1
2回答
我正在寻找一个好的算法/方法来检查数据仓库中的数据质量。因此，我希望有一些算法“知道”这些值的可能结构，然后检查这些值是否是这个结构的成员，然后决定它们是否正确。
浏览 2修改于2013-06-29得票数 1
回答已采纳
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号