我有大约200万行的列表,其中包括:
Name, Address, Phone Number但这些错误类似于一行中的多个逗号。
当我在.txt和逗号分隔时将它们导入postgres时,它会显示错误“一列接一部电话的额外数据”。然后,我必须手动找到行,编辑额外的逗号,然后重新上传/重复。已经7天了,我还在做同样的工作,而且我甚至还没有超过250 K的记录。这是非常令人讨厌的,必须有办法解决这个问题。
想法和建议?不要介意花钱买好的软件。
也许有一个类似于Excel的程序来处理这类工作?它可以处理数百万行,与Excel类似的函数/工具将允许我轻松地编辑这个大数据集?Excel对我的数据集很好,这些数据集少于100万行,但不能打开较大的行。
我尝试过分隔符和编辑编辑器,但它们对我没有用。
发布于 2017-07-18 11:15:48
创建一个额外的表,其中包含两列:
导入您的行。
现在搜索坏数据的模式,比如太多的逗号或双逗号。如果可能,编写UPDATE语句来修复。或者使用管理应用程序(如pgAdmin )来编辑数据。或者用Java或其他工具编写一个小小的应用程序来进行修改。或者在工具包(如瓦丁 )中编写GUI应用程序。
发布于 2017-07-19 08:16:45
我可能会使用Notepad++,并尝试使用regex查找和替换。下面是关于regex在Notepad++中查找和替换的主题的顶级堆栈溢出问题。https://stackoverflow.com/questions/20286068/how-to-replace-all-strings-to-numbers-contained-in-each-string-in-notepad
SO正在搜索的模式不像您的模式,但是regex对于大多数存在模式的情况都是足够强大的。
发布于 2020-03-19 08:16:02
为了防止有人无意中发现这个问题,我尝试过使用Python来完成这个任务:
import re
import datetime
striptrail = re.compile(r',+\n') # Regular Expression for trailing commas
started = datetime.datetime.now() # For timing
with open("stripped.txt", 'wt') as outfile: # Output file
with open("bigfile.txt", 'rt') as infile: # Input file
for line in infile: # Read the lines
outfile.write(striptrail.sub(r'\n', line)) # replace and save
print(datetime.datetime.now() - started) # How long did it take文件包含200万行,每行包含一个引号(字母、连字符和空格)、引用地址(数字、字母、逗号和空格)和电话号码(数字& +-) (所有随机),每行末尾的逗号为0-3的随机数(107 MB文件)。我的笔记本电脑处理了9.145秒。
Python是一种免费的、开源的、免费的编程语言,适用于大多数平台。
https://softwarerecs.stackexchange.com/questions/43582
复制相似问题