我在上传一个大文件时遇到了段错误。
我通过io.Reader使用read方法读取了以字节为单位的文件数据。现在,我需要不断地将字节的数据上传到StorJ中。
发布于 2020-02-25 06:32:25
Storj架构为与S3兼容的分布式对象存储系统,不允许在上载后更改对象。基本上,您可以删除或覆盖,但不能追加。
但是,您可以使用Storj作为后端来制作看起来支持append的东西。例如,将序号附加到对象的路径,并在每次要添加时递增该序号。当你想要下载整个东西的时候,你会遍历所有的部分并获取它们。或者,如果您只想查找特定的偏移量,您可以计算该偏移量将位于哪个部分,并从那里下载。
sj://bucket/my/object.name/000
sj://bucket/my/object.name/001
sj://bucket/my/object.name/002
sj://bucket/my/object.name/003
sj://bucket/my/object.name/004
sj://bucket/my/object.name/005当然,这还没有解决当多个客户端试图同时向您的“文件”追加内容时该怎么办的问题。如果没有某种额外的协调层,它们有时会覆盖彼此的对象。
https://stackoverflow.com/questions/59984027
复制相似问题