blocks|key|810057|text|对于大量较小的文件，S3FS可能不是最佳选择。S3FS的开销也相当高。我建议使用像S3Curl这样的东西|type|unstyled|depth|inlineStyleRanges|entityRanges|offset|length|data|810058|你甚至可以进行并行传输。记住，它永远不会像EBS+/本地存储那样快速。|810059|如果您需要将其作为“可装入”存储，我所知道的S3FS的唯一替代方案是S3Backer或s3ql。|entityMap|0|LINK|mutability|MUTABLE|url|http://aws.amazon.com/code/128|1|https://code.google.com/p/s3backer/|2|https://bitbucket.org/nikratio/s3ql/overview^0|15|6|0|0|0|Y|8|1|17|4|2^^$0|@$1|2|3|4|5|6|7|S|8|@]|9|@$A|T|B|U|1|V]]|C|$]]|$1|D|3|E|5|6|7|W|8|@]|9|@]|C|$]]|$1|F|3|G|5|6|7|X|8|@]|9|@$A|Y|B|Z|1|10]|$A|11|B|12|1|13]]|C|$]]]|H|$I|$5|J|K|L|C|$M|N]]|O|$5|J|K|L|C|$M|P]]|Q|$5|J|K|L|C|$M|R]]]]

S3FS may not be the best choice for a large amount of smaller files. The overhead with S3FS is pretty high as well. I'd suggest using something like <a href="http://aws.amazon.com/code/128" rel="noreferrer">S3Curl</a> 

You can even get parallel transfers going. Just remember it will never be fast like EBS / local storage.

If you need to have it as a 'mountable' storage, the only alternatives to S3FS that I know of is <a href="https://code.google.com/p/s3backer/" rel="noreferrer">S3Backer</a> or <a href="https://bitbucket.org/nikratio/s3ql/overview" rel="noreferrer">s3ql</a>

blocks|key|810250|text|我刚刚发布了https://github.com/kahing/goofys的0.0.1版本，部分原因是s3fs中的性能问题。文件创建速度为3-6倍，到第一个字节的时间为58倍。欢迎反馈！|type|unstyled|depth|inlineStyleRanges|entityRanges|offset|length|data|entityMap|0|LINK|mutability|MUTABLE|url|https://github.com/kahing/goofys^0|6|W|0^^$0|@$1|2|3|4|5|6|7|K|8|@]|9|@$A|L|B|M|1|N]]|C|$]]]|D|$E|$5|F|G|H|C|$I|J]]]]

I just released v0.0.1 of <a href="https://github.com/kahing/goofys" rel="noreferrer">https://github.com/kahing/goofys</a> which was partly motivated by performance problems in s3fs. File creation speedup is 3-6x and time to first byte is 58x. Feedback welcome!

blocks|key|810177|text|与s3fs相比，我只是比较了一下riofs。我的测试用例是一个相对简单的bash脚本，它在它找到的每个.png上运行pngquant。在一个具有~70张图片的测试桶上，其中~20张png+(分布在许多子目录中，这会减慢速度)的结果如下：|type|unstyled|depth|inlineStyleRanges|entityRanges|data|810178|s3fs:+3m54|810179|810180|riofs:+15.9s|810181|因此，对于这个测试案例，riofs的速度要快15倍！安装也非常简单，尽管文档有些简洁。|810182|关于脚本仍然使用15.9+s的事实:它不是很有效，实际上在png上运行pngquant也是一个cpu密集型进程。|entityMap^0|0|0|0|0|0^^$0|@$1|2|3|4|5|6|7|L|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|M|8|@]|9|@]|A|$]]|$1|D|3|-4|5|6|7|N|8|@]|9|@]|A|$]]|$1|E|3|F|5|6|7|O|8|@]|9|@]|A|$]]|$1|G|3|H|5|6|7|P|8|@]|9|@]|A|$]]|$1|I|3|J|5|6|7|Q|8|@]|9|@]|A|$]]]|K|$]]

I just benchmarked riofs compared to s3fs. My test case was a relatively simple bash script that ran pngquant on each .png it found. On a testbucket with ~70 images of which ~20 where png (spread over a lot of subdirectories, which prob slows things down) the results where:

s3fs: 3m54 
riofs: 15.9s

So for this testcase riofs is ~15x faster! Setup was also very straightforward, although the docs are somewhat terse. 

Regarding the fact that the script still took 15.9s: it's not very efficient, also actually running pngquant on png's is a cpu intensive process.

blocks|key|3412690|text|https://github.com/kahing/goofys|type|unstyled|depth|inlineStyleRanges|entityRanges|offset|length|data|3412691|Goofys允许您将S3桶作为文件系统挂载。它是一个Filey系统，而不是文件系统，因为goofys追求的是性能第一，POSIX第二。特别是在S3上很难支持或转换成不止一个往返的东西，要么失败(随机写入)，要么伪造(没有每个文件的权限)。Goofys没有磁盘上的数据缓存(签出catfs)，一致性模型几乎是开放的。|blockquote|entityMap|0|LINK|mutability|MUTABLE|url^0|0|W|0|0^^$0|@$1|2|3|4|5|6|7|M|8|@]|9|@$A|N|B|O|1|P]]|C|$]]|$1|D|3|E|5|F|7|Q|8|@]|9|@]|C|$]]]|G|$H|$5|I|J|K|C|$L|4]]]]

<a href="https://github.com/kahing/goofys" rel="nofollow noreferrer">https://github.com/kahing/goofys</a>
<blockquote>
Goofys allows you to mount an S3 bucket as a filey system.
</blockquote>
<blockquote>
It's a Filey System instead of a File System because goofys strives for performance first and POSIX second. Particularly things that are difficult to support on S3 or would translate into more than one round-trip would either fail (random writes) or faked (no per-file permission). Goofys does not have an on disk data cache (checkout catfs), and consistency model is close-to-open.
</blockquote>

blocks|key|810105|text|我用了1，它很好。它有很多命令，使得访问aws和s3更加容易。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|810106|http://timkay.com/aws/|ordered-list-item|offset|length|entityMap|0|LINK|mutability|MUTABLE|url^0|0|0|M|0^^$0|@$1|2|3|4|5|6|7|M|8|@]|9|@]|A|$]]|$1|B|3|C|5|D|7|N|8|@]|9|@$E|O|F|P|1|Q]]|A|$]]]|G|$H|$5|I|J|K|A|$L|C]]]]

I used [1] and it's very good. It's lot of commands and makes accessing aws and s3 a lot easier.

<ol>
<li><a href="http://timkay.com/aws/" rel="nofollow noreferrer">http://timkay.com/aws/</a></li>
</ol>

blocks|key|3412518|text|只是将里弗添加到混合物中。我目前看不到任何基准，但有一个发出/请求，任何人都可以做。|type|unstyled|depth|inlineStyleRanges|entityRanges|offset|length|data|entityMap|0|LINK|mutability|MUTABLE|url|https://github.com/skoobe/riofs|1|https://github.com/skoobe/riofs/issues/6^0|3|2|0|S|5|1^^$0|@$1|2|3|4|5|6|7|M|8|@]|9|@$A|N|B|O|1|P]|$A|Q|B|R|1|S]]|C|$]]]|D|$E|$5|F|G|H|C|$I|J]]|K|$5|F|G|H|C|$I|L]]]]

Just adding <a href="https://github.com/skoobe/riofs" rel="nofollow noreferrer">riofs</a> to the mix. I could not see any benchmark for now but there is an <a href="https://github.com/skoobe/riofs/issues/6" rel="nofollow noreferrer">issue/request</a> that anybody can do.

blocks|key|3412540|text|我把s3fs和riofs作了比较，因为性能明显提高，所以我几乎切换了。问题是，riofs还没有更新到v4签名，这意味着它将不能与法兰克福或中国s3桶工作。据老板说，更新正在进行中。如果你不使用法兰克福或中国，里奥夫斯是一个更好的选择。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|entityMap^0^^$0|@$1|2|3|4|5|6|7|C|8|@]|9|@]|A|$]]]|B|$]]

I compared s3fs with riofs, and almost switched because of noticeably better performance. Problem is riofs is still not updated to v4 signatures, which means it won't work with Frankfurt or China s3 buckets. According to the owner, an update is on the way. If you don't use Frankfurt or China, riofs is a hands down better option.

blocks|key|810290|text|这是很旧的，但也许能帮助到这里的人。|type|unstyled|depth|inlineStyleRanges|entityRanges|data|810291|我正在使用aws+cli，它的工作非常好(3+Mb/s)|810292|pip+install+awscli+--upgrade+--user
nano+~/.bash_profile
export+PATH="~/.local/bin:$PATH"
aws+s3+sync+/sourcedir/+s3://bucketname/destdir/|code-block|syntax|javascript|entityMap^0|0|0^^$0|@$1|2|3|4|5|6|7|J|8|@]|9|@]|A|$]]|$1|B|3|C|5|6|7|K|8|@]|9|@]|A|$]]|$1|D|3|E|5|F|7|L|8|@]|9|@]|A|$G|H]]]|I|$]]

This is kind old but may help who gets here.

I'm using aws cli and its working very good (3 Mb/s)

<pre><code>pip install awscli --upgrade --user
nano ~/.bash_profile
export PATH="~/.local/bin:$PATH"
aws s3 sync /sourcedir/ s3://bucketname/destdir/
</code></pre>

blocks|key|3412725|text|使用rclone+mount，比s3fs快得多|type|unstyled|depth|inlineStyleRanges|offset|length|style|CODE|entityRanges|data|entityMap^0|2|C^^$0|@$1|2|3|4|5|6|7|G|8|@$9|H|A|I|B|C]]|D|@]|E|$]]]|F|$]]

Used <code>rclone mount</code> and is far much faster than s3fs

I've been trying to use s3fs on an EC2 server but it's really slow. I spent the last 5 hours uploading 100MB of small files.

Is there anything I can do to improve the performance or is it something related to S3fs? If not, what's an alternative I could use?

S3fs performance improvements or alternative?

翻译质量差，导致语言生硬或混乱。

没有提供实际的解决方法或示例。

解答不清晰，无法理解或解决问题。

页面排版不美观，阅读体验差。

文章

问答

视频

教程

学习中心

腾讯云实验室

直播

竞赛

腾讯云代码分析专区

腾讯iOA零信任安全管理系统专区

腾讯云架构师技术同盟交流圈

腾讯云数据库专区

腾讯云智能顾问专区

腾讯云原生专区

腾讯混元专区

腾讯云TCE专区

腾讯云Lighthouse专区

腾讯云HAI专区

腾讯云Edgeone专区

腾讯云存储专区

腾讯云智能专区

腾讯轻联专区 

腾讯云开发专区

TAPD专区

腾讯轻量云游戏服专区

腾讯云最具价值专家

腾讯云架构师技术同盟

腾讯云创作之星

腾讯云开发者先锋

腾讯云AI代码助手

云原生构建

TAPD 敏捷项目管理

Cloud Studio

SDK中心

API中心

命令行工具

功能1上新10个字符

功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符功能2描述100个字符。

功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符功能2上新100个字符。

功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符功能5描述100个字符

功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符功能5上新100个字符

功能4上新

文章&问答评论现已支持表情

全新交互，全新视觉，新增快捷键、悬浮工具栏、高亮块等功能并同时优化现有功能，全面提升创作效率和体验

社区富文本编辑器全新改版！诚邀体验～ 

精选全网热门MCP server，让你的AI更好用 🚀

💥开发者 MCP广场重磅上线！

涵盖代码开发、场景应用、自动测试全流程，助你从零构建专属AI助手

一站式MCP教程库，解锁AI应用新玩法

聚焦“写作效率、视觉美观与运行性能”三方面进行全面升级，为您提供更高效、稳定的创作环境

社区富文本&Markdown编辑器全新改版上线，欢迎大家体验!

诚挚邀请您参与本次调研，分享您的真实使用感受与建议。您的反馈至关重要，感谢您的支持与参与！

社区新版编辑器体验调研

我一直试图在s3fs服务器上使用EC2，但速度确实很慢。在过去的5个小时里，我上传了100 of的小文件。我能做些什么来提高性能吗?还是与S3fs有关？如果不是的话，我还能有什么选择呢？

问S3fs性能改进还是替代？
EN

回答 9

Server Fault用户

Server Fault用户

Server Fault用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问S3fs性能改进还是替代？EN

回答 9

Server Fault用户

Server Fault用户

Server Fault用户

社区

活动

圈层

关于

腾讯云开发者

热门产品

热门推荐

更多推荐

问S3fs性能改进还是替代？
EN