- 综合排序
- 最热优先
- 最新优先
- 来自专栏一滴水的眼泪
SeaweedFS
SeaweedFS简介 SeaweedFS是基于go语言开发的高可用文件存储系统，主要特征 存储上亿的文件(最终受限制于硬盘大小) 速度快，内存占用小 上手使用比fastDFS要简单很多，自带Rest 为了支持大文件，SeaweedFS支持以下两种文件： 块文件。每个块文件实际上只是SeaweedFS的普通文件。 大块文件。一个简单的json文件，包含所有块的列表。 增加用户打开文件限制 SeaweedFS通常只打开一些实际的磁盘文件。 Java操作SeaweedFS 首先导入pom依赖 <dependency> <groupId>net.anumbrella.seaweedfs</groupId> <artifactId >seaweedfs-java-client</artifactId> <version>0.0.2.RELEASE</version> </dependency> 编写SeaweedFS
7.5K31发布于 2020-09-21 - 来自专栏Lixj's Blog
SeaweedFS学习笔记
最近在重构项目，文件存储系统用的 SeaweedFS，学习一下。 学习笔记 eaweedfs 源码笔记（一） SeaweedFS 是一个非常优秀的由 golang 开发的分布式存储开源项目。 SeaweedFS简介 SeaweedFS 是基于 go 语言开发的高可用文件存储系统，主要特征 存储上亿的文件(最终受限制于硬盘大小) 速度快，内存占用小 上手使用比fastDFS要简单很多，自带Rest SeaWeeDFS作为对象存储库来有效地处理小文件。不是管理中央主机中的所有文件元数据，中央主机只管理文件卷，它允许这些卷服务器管理文件和它们的元数据。 后续更新 Copyright: 采用 知识共享署名4.0 国际许可协议进行许可 Links: https://lixj.fun/archives/seaweedfs学习笔记
90920编辑于 2022-06-10 - 来自专栏Juicedata
浅析 SeaweedFS 与 JuiceFS 架构异同
SeaweedFS 系统结构 SeaweedFS 由 3 部分组成，底层存储文件的 Volume Server，用于管理集群的 Master Server，以及一个向上提供更多特性的 Filer 可选组件 在开始写入数据之前，调用者需要向 SeaweedFS（Master Server）进行写入申请，随后 SeaweedFS 会根据当前的数据量返回一个 File ID（由 Volume ID 与 offset 元数据对比 SeaweedFS 与 JuiceFS 都支持通过外部数据库以存储文件系统的元数据信息。在数据库支持层面，SeaweedFS 支持多达 24 种数据库。 （详情见读取清求处理流程） 分层存储 对于新创建的 Volume，SeaweedFS 会把数据存储在本地，而对于较旧的 Volume，SeaweedFS 支持将他们上传至云端以达到冷热数据的分离。 SeaweedFS 同样支持传输中加密与静态加密。
2.5K20编辑于 2023-03-08 - 来自专栏章工运维
分布式文件系统seaweedfs搭建配置
官方网站: https://github.com/chrislusf/seaweedfs/wiki/Getting-Started seaweedfs是一个非常优秀的由 golang 开发的分布式存储开源项目 在逻辑上Seaweedfs的几个概念： Node 系统抽象的节点，抽象为DataCenter、Rack、DataNode DataCenter 数据中心，对应现实中的不同机房 Rack 机架，对应现实中的机柜 部署方式 1 docker run -p 9333:9333 -p 19333:19333 -v /opt/seaweed/mdir:/data --name weed_master chrislusf/seaweedfs docker run -p 9334:8080 -v /opt/seaweed/vdir1:/data --name weed_volume1 --link weed_master chrislusf/seaweedfs docker run -p 9335:8080 -v /opt/seaweed/vdir2:/data --name weed_volume2 --link weed_master chrislusf/seaweedfs
2.8K20编辑于 2023-08-24 - 来自专栏程序员小助手
【GitHub日报】22-10-10 brew、minio、vite、seaweedfs、dbeaver 等8款App今日上新
最新发布版本：[seaweedfs/seaweedfs] Release 3.31 - 3.31 更新内容： 3.31[76] Repository: seaweedfs/seaweedfs[77] · : https://github.com/seaweedfs/seaweedfs [76] 3.31: https://github.com/seaweedfs/seaweedfs/releases/tag /3.31 [77] seaweedfs/seaweedfs: https://github.com/seaweedfs/seaweedfs [78] 3.31: https://github.com/ seaweedfs/seaweedfs/tree/3.31 [79] 0711870: https://github.com/seaweedfs/seaweedfs/commit/0711870f43e6c5eadd3df70f22478e6e9998e5a2 /seaweedfs/pull/3807 [98] #3811: https://github.com/seaweedfs/seaweedfs/discussions/3811 [99] @kvaster
80720编辑于 2022-12-20 - 来自专栏IT知识进阶学习
(很干)Gitee 图床又崩了？手把手教你搭建一个自己的文件系统
综上分析，可以发现Seaweedfs具有的特点能够完美契合我们在技术选型时考虑的因素，因此，使用Seaweedfs框架搭建文件系统是相对合适的，下面就开始实战篇章-完成对Seaweedfs的搭建和使用。 实战-使用Seaweedfs搭建文件服务器 在开始搭建之前，先简单介绍下Seaweedfs中不同模块的具体作用： Weed master ： 开启一个master服务器 Weed volume ： 可以直接解压使用(无需依赖Go环境，演示使用该种方式) 本次演示的Seaweedfs版本为：0.99，目的是方便后续使用JAVA程序集成Seaweedfs，因为使用Seaweedfs较高的版本，第三方提供的 Seaweedfs客户端会有一些问题。 /usr/local/seaweedfs0.99/seaweedfs/sbin/weed master -mdir=/usr/local/seaweedfs0.99/seaweedfs/data/master
1.1K10编辑于 2022-09-13 - 来自专栏NetCore 从壹开始
在BlogCore中，上传附件到SeeweedFS分布式文件服务器
一、认识SeaweedFS Seaweedfs是一个简单，高扩展性的分布式文件系统，是由Golang开发的分布式存储开源项目，它是用来存储文件的系统，并且与使用的语言无关，任何语言，任何框架都可以以它为文件存储 seaweedfs选择以键值对（key->file）的实现方式。 下载安装seaweedfs地址 如果下载失败，可以手动下载 sudo wget https://github.com/chrislusf/seaweedfs/releases/download/0.96 /linux_amd64.tar.gz sudo tar -zxvf linux_amd64.tar.gz (4)、配置运行seaweedfs 进入解压目录，以守护进程启动seaweedfs的主服务及集群 seaweedfs.git 2）cd seaweedfs/docker 3）docker build -t sunsl/seaweedfs . 4）# 修改docker-compose.yml中的 image
1.3K20编辑于 2023-08-23 - 来自专栏IT综合技术分享
组件分享之后端组件——一个简单且高度可扩展的分布式文件系统seaweedfs
组件基本信息 组件：seaweedfs 开源协议：Apache-2.0 License 内容 本节我们分享一个分布式存储系统seaweedfs，它是一个用于 blob、对象、文件和数据湖的快速分布式存储系统 SeaweedFS 最初是作为一个对象存储来有效处理小文件。中央主服务器不管理中央主服务器中的所有文件元数据，而是仅管理卷服务器上的卷，而这些卷服务器管理文件及其元数据。 SeaweedFS 从实现Facebook 的 Haystack 设计文件开始。 对于任何分布式键值存储，大值可以卸载到 SeaweedFS。SeaweedFS 具有快速的访问速度和线性可扩展的容量，可以作为分布式Key-Large-Value 存储。 SeaweedFS 可以透明地与云集成。SeaweedFS利用本地集群上的热点数据和访问时间为O(1)的云上的温数据，既可以实现本地快速访问时间，又可以实现弹性云存储容量。
3.4K30编辑于 2022-04-24 - 来自专栏实时计算
非结构化数据怎么存？——开源对象存储方案介绍
SeaweedFS SeaweedFS是一种简单的、高度可扩展的分布式文件系统。旨在优化Fackbook内部图片存储和获取。 Githup地址为： https://github.com/chrislusf/seaweedfs SeaweedFS最初作为一个对象存储来有效地处理小文件。
2.8K10发布于 2021-09-22 - 来自专栏Ceph对象存储方案
小文件合并方案分享
SeaweedFS SeaweedFS is optimized for small files. Small file access is O(1) disk read. https://github.com/chrislusf/seaweedfs#compared-to-glusterfs-ceph
3.1K10发布于 2020-07-14 - 来自专栏深度学习与python
基于 JuiceFS 构建高校 AI 存储方案：高并发、系统稳定、运维简单
04 为什么使用对象存储SeaweedFS？ 总体而言，我们遵循了 SeaweedFS 官方文档中推荐的主要组件和基本功能，并未涉及过多新颖或高级特性。 对象存储架构 在数据冗余和备份方面，我们充分利用了 SeaweedFS 的冗余特性。逻辑上，我们将数据节点划分为两个 Rack。 SeaweedFS 的优缺点 首先，从上手难度来看，SeaweedFS 相较于工业界广泛使用的 Ceph，显得更为容易操作。 尽管 SeaweedFS 的文档资料相对较少，但其易用性依然值得肯定。 此外，SeaweedFS 的扩容过程也相对简单，只需新增机器并连接到 master 节点，系统即可自动进行扩容。
55610编辑于 2024-07-26 - 来自专栏实时流式计算
非结构化数据怎么存？——开源对象存储方案介绍
SeaweedFS SeaweedFS是一种简单的、高度可扩展的分布式文件系统。旨在优化Fackbook内部图片存储和获取。 Githup地址为：https://github.com/chrislusf/seaweedfs SeaweedFS最初作为一个对象存储来有效地处理小文件。
5.2K10发布于 2021-09-24 - 来自专栏深度学习与python
合合信息：基于 JuiceFS 构建统一存储，支撑 PB 级 AI 训练
考虑到训练任务的数据总量较大，我们又部署了另一套基于 SeaweedFS 的存储系统。SeaweedFS 原本用于对象存储，同时支持基础的 POSIX 协议，因此可以作为分布式文件系统使用。 为了缓解这一矛盾，我们需要在 BeeGFS 与 SeaweedFS 之间频繁迁移数据。 SeaweedFS 部署于与在线业务共用的物理服务器上，受限于对线上业务资源的保护，其整体 I/O 性能存在上限。而在高并发训练任务同时访问时，SeaweedFS 性能容易达到瓶颈。 在架构右侧，我们仍保留了 SeaweedFS 作为后端对象存储的角色，但不再使用其 POSIX 挂载能力，仅将其作为纯对象存储使用。 这种方式规避了 SeaweedFS 在 POSIX 协议兼容性方面的不足，同时保持其在存储容量方面的优势。
23310编辑于 2025-07-20 - 来自专栏运维
Seaweed-FS综合使用测试
Seaweed-FS综合使用测试 参考信息 https://github.com/chrislusf/seaweedfs/ https://bintray.com/chrislusf/seaweedfs cd /usr/local mv weed_0.70beta_linux_amd64/ seaweedfs mkdir seaweedfs/sbin mv seaweedfs/weed seaweedfs [root@dc2node3 ~]# curl http://dc1node1:8081/3,01255df9c4 hello seaweedfs! [root@dc2node3 ~]# curl http://dc1node4:8081/3,01255df9c4 hello seaweedfs! [root@dc2node3 ~]# curl http://dc2node3:8081/3,01255df9c4 hello seaweedfs!
5.6K20发布于 2018-11-14 - 来自专栏逸鹏说道
分布式小文件系统fastdfs与weedfs的对比
我也是今天才看到seaweedfs，小编挺看好的，Net和Go的项目混搭在中大型Net技术主线公司是越来越常见了~~~~ 最近拿一台双核1G的kvm vps搭建了一个图片的服务器，前面用百度云加速扛着， astdfs的详细介绍看这里=》 https://github.com/happyfish100/fastdfs weedfs官方地址= >https://github.com/chrislusf/seaweedfs
6.5K70发布于 2018-04-11 - 来自专栏自然语言处理
DeepSeek开源周 Day05：从3FS盘点分布式文件存储系统
、可用性 高性能、可伸缩性、可靠性以及可用性 常用的分布式文件系统 常用的分布式文件系统有：**GFS、TFS、HDFS、MooseFs、FastDfs、MogileFs、GridFs、MinIO、SeaweedFS SeaweedFS SeaweedFS是基于go语言开发高度可扩展开源的分布式存储系统，能存储数十亿文件（最终受制于你的硬盘大小）、并且速度快，内存占用小。 分布式文件系统对比 功能分类如下： 适合做通用文件系统的有：Ceph、MooseFS、MinIO； 适合做中小文件存储的文件系统有：Ceph、FastDFS、MinIO、SeaweedFS； 适合做大文件存储的文件系统有：HDFS、MinIO、Ceph、GridFS； 轻量级文件系统有：FastDFS、MinIO、SeaweedFS； 简单易用，用户活跃的文件系统有：HDFS、
1.7K10编辑于 2025-03-01 - 来自专栏Rust语言学习交流
【大家的项目】helyim: 纯 Rust 实现的分布式对象存储系统
helyim 是使用 rust 重写的 seaweedfs，具体架构可以参考 Facebook 发表的 haystack 和 f4 论文。
1.1K10编辑于 2024-01-12 - 来自专栏一滴水的眼泪
maven多配置
更新数据库时间 shedulTime: 30000 #线程池大小 maxNumPoolSize: 100 #socket等待超时时间 timer: 20000 seaweedfs
1K10发布于 2020-09-21 - 来自专栏木鸟杂记
分布式系统学习资料汇总
开源项目 存储 Hadoop， https://github.com/apache/hadoop ，Java：可以通过 tag 看早期代码，包含 MapReduce 和 GFS 的开源实现 seaweedfs ，https://github.com/chrislusf/seaweedfs， Golang：参考了 Facebook Haystack 和 F4 Minio，https://github.com/
89910发布于 2021-09-26 - 来自专栏IT知识进阶学习
有了这个开源工具后，我五点就下班了！
分布式文件系统工具使用了第三方开源框架seaweedfs进行搭建，可以实现程序上传，删除、下载、查询，并有文件分布式存储，避免单点故障，节约成本等特点。 前面也专门通过一篇文章讲解了：为何要使用seaweedfs框架搭建分布式文件系统的，感兴趣的读者可以通过下方链接进行查看：Gitee图床崩溃后，我使用Seaweedfs搭建了文件系统并封装成轮子开源 集成方案介绍关联文章 手把手教你搭建ftp服务器，并用程序完成ftp上传下载功能 集成csv工具的前因后果 Gitee图床崩溃后，我使用Seaweedfs搭建了文件系统并封装成轮子开源 写在最后 开源之路不容易
1.2K20编辑于 2022-09-13
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号