我有一个相当大的表,其中包含20+列和近300万行,我希望从单个列中选择所有唯一值,并将它们输入到新创建的表中。经过研究,我尝试了使用DISTINCT和GROUP BY方法,但这两种方法都产生了重复的值。此外,我已经将新表中的新列设置为主键,我认为这不应该允许重复的值。
我绝对是一个初学者,所以也许我做错了一些简单的事情。下面是一些示例代码:
使用GROUP BY
INSERT INTO ResourceGroups(ResourceGroup)
SELECT ResourceGroup
FROM dbo.UsageData
WHERE ResourceGroup IS NOT NULL
GROUP BY ResourceGroup使用DISTINCT
INSERT INTO ResourceGroups(ResourceGroup)
SELECT DISTINCT ResourceGroup
FROM dbo.UsageData
WHERE ResourceGroup IS NOT NULL这两者的结果似乎是相同的。以下是前几行的示例:
ResourceGroup
aiiInnovationTime
Api-Default-Central-US
Api-Default-Central-US
applicationinsights
applicationinsights
azurefunctions-southeastasia
azurefunctions-southeastasia查询结果为532行,合并后明显消除了一些重复项,而不是300万行。但是,这里显然仍然存在重复项,并且它们也成功地插入到不应该允许重复的主键列中。此外,尽管我试图过滤掉NULLs,但还是有一个空行(尽管可能有一个空格或其他什么?)。不用说,我对我做错了什么感到有点困惑,非常感谢这个社区能提供的任何帮助!
发布于 2017-01-24 12:49:17
假设数据中有空格
SELECT DISTINCT
REPLACE(REPLACE(REPLACE(REPLACE(ResourceGroup, CHAR(13) + CHAR(10), ' ... '),
CHAR(10) + CHAR(13), ' ... '), CHAR(13), ' '), CHAR(10), ' ... ')
FROM dbo.UsageData
WHERE LTRIM(RTRIM(ResourceGroup)) IS NOT NULLLTRIM修剪前导空格,RTRIM修剪尾随空格。试一试,看看它是否有效!
发布于 2017-01-24 12:57:08
你提到的两个查询都应该给你唯一的结果,然而,异常是由于可能是前导空格或尾随空格。
根据数据库的不同,您可以修改查询。
Oracle 的:您可以使用TRIM函数来删除前导空格和尾随空格。
SQL Server没有单一的函数你必须使用LTRIM和RTRIM来删除空格。
发布于 2017-01-24 11:58:16
正如Chetan Ranpariya提到的,检查了前导空格和尾随空格。执行此操作的方式取决于SQL引擎。例如,在MySQL中,您可以使用https://dev.mysql.com/doc/refman/5.7/en/string-functions.html#function_trim。
https://stackoverflow.com/questions/41819658
复制相似问题