首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >使用Python编写CSV时出错

问使用Python编写CSV时出错
EN

Stack Overflow用户
提问于 2011-09-17 11:10:49
回答 1查看 257关注 0票数 3

我在用python (这是必要的格式,因为我所在的团队依赖于.csvs)编写的.csv文件中遇到错误。在一种非模式的方式中,有数百个1g文件中的错误正在悄悄上升。例如,额外的10列仅对应于1行,额外的行具有错误的输入,某些行缺少~10列。我已经重新运行了相同的脚本两次,在第二次运行时错误消失了。我需要一种方法来确保这些文件被正确写入。这是我正在使用的代码(我知道它不是最有效的,但我知道如何用这种方式做它,我想把我是如何做的发布出来)。

代码语言:javascript
复制
# Sample inputs, representative of the actual data I'm working with.  
output = np.zeros([40000, 1000]) # for example
iso3 = 'ALB'
sex = 'M'
year = np.ones(40000)
post_env = np.repeat(10, 40000)
post_cause = np.repeat('a', 40000)
post_pop = np.repeat(100, 40000)
outsheet = np.zeros([output.shape[0], output.shape[1]+7], dtype='|S20')
outsheet[:, 0] = iso3
outsheet[:, 1] = sex
outsheet[:, 2] = np.array(post_year, dtype='|S20')
outsheet[:, 3] = np.array(post_age, dtype='|S20')
outsheet[:, 4] = np.array(post_cause, dtype='|S20')
outsheet[:, 5] = np.array(post_env, dtype='|S20')
outsheet[:, 6] = np.array(post_pop, dtype='|S20')
outsheet[:, 7:] = np.array(output, dtype='|S20')

outsheet[outsheet=='nan'] = '.'
first_row = ['draw' + str(i) for i in range(output.shape[1])]
first_row.insert(0, 'population')
first_row.insert(0, 'envelope')
first_row.insert(0, 'cause')
first_row.insert(0, 'age')
first_row.insert(0, 'year')
first_row.insert(0, 'sex')
first_row.insert(0, 'iso3')
outfile = open('filename', 'w')
writer = csv.writer(outfile)
writer.writerow(first_row)
writer.writerows(outsheet)
outfile.close()

错误甚至包括第一列中的随机数值(应该都是'ALB'),一个观察值的额外行集,以及一个缺少列的观察值(写入后)。

EN

回答 1

Stack Overflow用户

发布于 2011-09-17 11:49:04

顺便说一下,使用xrange而不是range通常更快。

您是否完全确定运行作业的计算机上的内存和磁盘都是完好的?由于您的数据范围为数百it,因此您看到的基于硬件的损坏不是不可能的。即使机器看起来运行稳定而不会崩溃,在这样的数据密度下,单位内存错误也是很常见的。如果有任何硬件是边缘的,这是我所期望的行为。

您的磁盘是否正在运行校验和raided格式?(ZFS是我的最爱)你在使用ECC内存吗?当白天天气炎热时,你会看到更多的错误吗?您是在机器上看到这些错误,还是在通过网络传输之后看到这些错误?

您的操作需要多长时间才能运行?在接近尾声时,您是否看到更多的错误?

票数 3
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/7452195

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档