首页
学习
活动
专区
圈层
工具
发布
社区首页 >问答首页 >如何用lzma (*.warc.xz)在python3中压缩warc记录?

如何用lzma (*.warc.xz)在python3中压缩warc记录?
EN

Stack Overflow用户
提问于 2017-01-14 12:36:52
回答 1查看 171关注 0票数 1

我有一份warc记录的清单。列表中的每一项都是这样创建的:

代码语言:javascript
复制
header = warc.WARCHeader({
    "WARC-Type": "response",
    "WARC-Target-URI": "www.somelink.com",
}, defaults=True)
data = "Some string"
record = warc.WARCRecord(header, data.encode('utf-8','replace'))

现在,我使用*.warc.gz来存储这样的记录:

代码语言:javascript
复制
output_file = warc.open("my_file.warc.gz", 'wb')

写这样的记录:

代码语言:javascript
复制
output_file.write_record(record) # type of record is WARCRecord

但是如何将lzma压缩为*.warc.xz呢?我曾经尝试用xz代替gz,当warc.open卡时,python3中的warc不支持这种格式。我已经找到了这个审判,但是我无法用以下方法保存WARCRecord:

代码语言:javascript
复制
output_file = lzma.open("my_file.warc.xz", 'ab', preset=9)
header = warc.WARCHeader({
    "WARC-Type": "response",
    "WARC-Target-URI": "www.somelink.com",
}, defaults=True)
data = "Some string"
record = warc.WARCRecord(header, data.encode('utf-8','replace'))
output_file.write(record)

错误信息是:

TypeError:需要一个类似字节的对象,而不是“WARCRecord”

谢谢你的帮助。

EN

回答 1

Stack Overflow用户

回答已采纳

发布于 2017-01-14 14:29:21

WARCRecord类有一个write_to方法,用于将记录写入文件对象。

您可以使用它将记录写入使用lzma.open()创建的文件。

票数 2
EN
页面原文内容由Stack Overflow提供。腾讯云小微IT领域专用引擎提供翻译支持
原文链接:

https://stackoverflow.com/questions/41650048

复制
相关文章

相似问题

领券
问题归档专栏文章快讯文章归档关键词归档开发者手册归档开发者手册 Section 归档