首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >为PostgreSQL导入轻松编辑大型原始数据集的软件?

问为PostgreSQL导入轻松编辑大型原始数据集的软件?
EN

Software Recommendation用户
提问于 2017-07-18 09:27:10
回答 3查看 53关注 0票数 -2

我有大约200万行的列表,其中包括:

代码语言:javascript
复制
Name, Address, Phone Number

但这些错误类似于一行中的多个逗号。

当我在.txt和逗号分隔时将它们导入postgres时,它会显示错误“一列接一部电话的额外数据”。然后,我必须手动找到行,编辑额外的逗号,然后重新上传/重复。已经7天了,我还在做同样的工作,而且我甚至还没有超过250 K的记录。这是非常令人讨厌的,必须有办法解决这个问题。

想法和建议?不要介意花钱买好的软件。

也许有一个类似于Excel的程序来处理这类工作?它可以处理数百万行,与Excel类似的函数/工具将允许我轻松地编辑这个大数据集?Excel对我的数据集很好,这些数据集少于100万行,但不能打开较大的行。

我尝试过分隔符和编辑编辑器,但它们对我没有用。

EN

回答 3

Software Recommendation用户

发布于 2017-07-18 11:15:48

Postgres

创建一个额外的表,其中包含两列:

  • 串行(或生成的…)类型的主键(在Postgres 10及以后的版本中作为身份)
  • 包含未解析的导入数据的整行的text列。

导入您的行。

现在搜索坏数据的模式,比如太多的逗号或双逗号。如果可能,编写UPDATE语句来修复。或者使用管理应用程序(如pgAdmin )来编辑数据。或者用Java或其他工具编写一个小小的应用程序来进行修改。或者在工具包(如瓦丁 )中编写GUI应用程序。

票数 0
EN

Software Recommendation用户

发布于 2017-07-19 08:16:45

我可能会使用Notepad++,并尝试使用regex查找和替换。下面是关于regex在Notepad++中查找和替换的主题的顶级堆栈溢出问题。https://stackoverflow.com/questions/20286068/how-to-replace-all-strings-to-numbers-contained-in-each-string-in-notepad

SO正在搜索的模式不像您的模式,但是regex对于大多数存在模式的情况都是足够强大的。

票数 0
EN

Software Recommendation用户

发布于 2020-03-19 08:16:02

为了防止有人无意中发现这个问题,我尝试过使用Python来完成这个任务:

代码语言:javascript
复制
import re
import datetime

striptrail = re.compile(r',+\n') # Regular Expression for trailing commas

started = datetime.datetime.now() # For timing
with open("stripped.txt", 'wt') as outfile: # Output file
    with open("bigfile.txt", 'rt') as infile: # Input file
        for line in infile:  # Read the lines
            outfile.write(striptrail.sub(r'\n', line)) # replace and save
print(datetime.datetime.now() - started) # How long did it take

文件包含200万行,每行包含一个引号(字母、连字符和空格)、引用地址(数字、字母、逗号和空格)和电话号码(数字& +-) (所有随机),每行末尾的逗号为0-3的随机数(107 MB文件)。我的笔记本电脑处理了9.145秒。

Python是一种免费的、开源的、免费的编程语言,适用于大多数平台。

票数 0
EN
页面原文内容由Software Recommendation提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://softwarerecs.stackexchange.com/questions/43582

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档