- 综合排序
- 最热优先
- 最新优先
- 来自专栏研发管理经验
研发管理经验总结：3 私有化文件存储minio
1 故事-森林文件危机橡树议会紧急召开。狐狸菲菲拍桌："松鼠的存粮数据又丢了！我们需要私有化存储方案！"猫头鹰奥利振翅而起："MinIO符合S3标准，分布式架构可横向扩展。" 她投影出控制台界面，"十分钟就能建好存储桶。"月光下，四位长老碰触前爪达成决议。次日黎明，MinIO集群在森林数据中心启动，首个存储桶"data"开始接收松鼠的库存数据。 2 需求场景私有化交付场景，需要有一个对象存储的组件，对文件进行统一的管理。minio是一个不错的选择。符合S3标准。 System.out.println("Bucket already exists."); } else { // 创建一个名为asiatrip的存储桶，用于存储照片的zip文件 minioClient.makeBucket("carter"); } // 使用putObject上传一个文件到存储桶中。
29511编辑于 2025-07-05 - 来自专栏开发技能乱炖
3-数据存储之文件存储(1)
一 简单介绍： 我们前面很少将提取的数据或者获取的源码保存下来；其实日常的工作中在解析出数据后接下来就是存储数据。 1). txt文本存储： python txt文件操作中离不开open()函数,它可以创建或者打开指定的文件，并创建一个文件对象 ，基本的语法： open() 函数用于创建或打开指定文件，该函数的语法格式如下 熟悉/了解上面的知识点后(详细信息：菜鸟教程/w3school)，我们实例一下； 小说网站：https://xs.sogou.com/mianfei/ 获取书名、简洁并保存为txt文件： import 3). CSV文件存储： 使用csv文件存储，我理解的就是表格存储，Excel都用过吧，就是那个;接下来我们分文件的写入跟读取两部分分开讲解，请系好安全带(如果非要介绍定义的话，请百度…我就是懒)； 简单写入，
1.9K30发布于 2019-11-12 - 来自专栏Spring Boot学习之路
Spring Boot 3 整合 minio 实现文件存储
Spring Boot 3 整合 minio 实现文件存储 01、背景介绍 在软件系统的实际开发进程里，文件存储服务的使用常常是难以避免的。 2.2.3、设置文件公开访问 默认创建的存储桶，都是私有桶，也就是说无法被公开访问。 minio设置文件公开访问 3、springBoot 集成 minio 实现文件存储 我们一起来看看，如何在 Spring Boot 工程中集成 minio 客户端以便实现文件存储服务。 minio 控制台 2）文件预览地址验证 在浏览器端，访问http://127.0.0.1:9090/harry/20250109/0fd3f0df56674ede8be935951d3170cf.png 总结 到这里，我们已经掌握了springBoot 整合 minio 实现文件存储的过程。
95410编辑于 2025-01-13 - 来自专栏Spring相关
文件存储
文件存储 1.新建一个项目FilePersistenceTest 2.修改activity_main.xml: <?xml version="1.0" encoding="utf-8"? wrap_content" android:hint="输入一些东西看看" /> </android.support.constraint.ConstraintLayout> 3. }catch(Exception e){ e.printStackTrace(); } Log.d(TAG, "读取到的文件的内容为
3.8K20发布于 2018-12-18 - 来自专栏shysh95
文件存储
，最后把数据块再写回磁盘 文件的存储 文件的数据在磁盘上的存储方式有哪几种？ 连续空间存储方式 非连续空间存储方式 连续空间存储方式 连续空间存储使用前必须要知道文件的大小，这样文件系统才可以在磁盘上找到一块连续的空间分配给文件。文件头里需要指定起始块的位置和长度。 连续空间存储优点？ 文件数据紧密相连，一次磁盘寻道便可读出整个文件，读写效率高。 连续空间存储缺点？ 索引方式优点： 文件的创建、增大、缩小很方便 不会有碎片问题 支持顺序读写和随机读写 索引方式缺点： 如果文件很小，一个块就可以存储所有数据，此时还需要额外分配一块磁盘空间来存储索引，造成了存储的开销。 Unix中文件数据的存储方式？
4.6K30发布于 2021-10-26 - 来自专栏为了不折腾而去折腾的那些事
Docker 环境下使用 Traefik v3 和 MinIO 快速搭建私有化对象存储服务
本篇文章，聊聊 MinIO 的单独使用，以及结合 Traefik 完成私有化 S3 服务的基础搭建。 让我们从最简单的用法开始，了解该如何和 Traefik 一起结合使用，快速完成私有化的对象存储服务的搭建。 使用客户端来完成文件的管理使用网页进行操作，当然非常的简单。但是如果我们想要操作大量的文件，或者在其他的程序中使用 MinIO 提供的对象存储能力呢？ 当然，我们也可以在各种编程语言中使用对应的 S3 SDK 来使用这个存储能力。除了 AWS 和 MinIO S3 SDK 之外，GitHub 上还有许多其他社区用户的实现，都可以参考使用。 其他相信看完上面的内容后，你应该已经能够搭建出单一磁盘支持的私有化的 S3 存储服务。为了服务的可靠性，我个人建议做两件事情。你可以通过各种方式，让容器能够同时访问多块物理磁盘。
77810编辑于 2024-08-05 - 来自专栏为了不折腾而去折腾的那些事
Docker 环境下使用 Traefik v3 和 MinIO 快速搭建私有化对象存储服务
本篇文章，聊聊 MinIO 的单独使用，以及结合 Traefik 完成私有化 S3 服务的基础搭建。 让我们从最简单的用法开始，了解该如何和 Traefik 一起结合使用，快速完成私有化的对象存储服务的搭建。 使用客户端来完成文件的管理 使用网页进行操作，当然非常的简单。但是如果我们想要操作大量的文件，或者在其他的程序中使用 MinIO 提供的对象存储能力呢？ 完成 S3 本地磁盘挂载 当然，我们也可以在各种编程语言中使用对应的 S3 SDK 来使用这个存储能力。 其他 相信看完上面的内容后，你应该已经能够搭建出单一磁盘支持的私有化的 S3 存储服务。 为了服务的可靠性，我个人建议做两件事情。 你可以通过各种方式，让容器能够同时访问多块物理磁盘。
78810编辑于 2024-08-06 - 来自专栏小工匠聊架构
数据存储之文件存储
概述 文件存取的核心就是输入流和输出流。 Android文件的操作模式 ? 文件的相关操作方法 ? e.printStackTrace(); } catch (IOException e) { e.printStackTrace(); } } 文件存储位置 totalBlocks = stat.getBlockCount(); return totalBlocks * blockSize; } /** * 获取手机内置存储剩余存储空间 stat.getAvailableBlocks(); return availableBlocks * blockSize; } /** * 获取手机内置存储总的存储空间 ，如果有多个，多次调用该方法 JarEntry jarEntry = jis.getNextJarEntry(); // 3 输出已解压的文件
26.6K20发布于 2021-08-16 - 来自专栏小工匠聊架构
Kafka - 3.x 文件存储不完全指北
Topic数据的存储机制 Kafka是一个分布式流处理平台，它使用发布-订阅模型来处理消息流。 每个分区在物理上保存在不同的服务器上，以支持数据的分布式存储和处理。 Segments（段）： 每个分区的数据实际上被分成多个段，每个段都是一个日志文件，用于持久存储消息。 log文件详解 日志存储参数配置 参数 描述 log.segment.bytes Kafka中log日志是分成一块块存储的，此配置是指log日志划分成块的大小，默认值1G。 清理策略 3．那么一旦超过了设置的时间就会采取清理策略，清理策略有两种：delete和compact 1）delete策略 delete日志删除：将过期数据删除。 ，写的过程是一直追加到文件末端，为顺序写。
52921编辑于 2023-10-29 - 来自专栏玖叁叁
文件存储、块存储、对象存储区别（一）
在计算机系统中，存储是指将数据保存在持久化介质上，以便以后访问和使用。不同类型的应用程序可能需要不同类型的存储，以满足其特定的需求。 文件存储文件存储是一种基于文件系统的存储方式，将数据保存在文件中，这些文件可以被多个应用程序并发地访问。 这种存储方式通常用于需要读取和写入整个文件的应用程序，如文档管理、图片、视频、音乐等文件存储和共享等应用。文件存储通常由一个共享存储设备提供，多个计算机可以通过网络访问该设备中的文件。 其中，共享存储设备可以是NAS（网络附加存储器），它是一种基于文件共享的存储设备，也可以是SAN（存储区域网络），它是一种基于块的存储设备。 存储提供者是一个NAS设备，使用“nfs-storage”存储类提供文件共享服务。
7.9K20编辑于 2023-05-03 - 来自专栏玖叁叁
文件存储、块存储、对象存储区别（二）
块存储块存储是一种基于块的存储方式，将数据保存在块设备上，块设备通常是一种硬件设备，例如硬盘、固态硬盘或闪存驱动器。 块存储通常由一个存储阵列提供，可以被多个计算机使用，每个计算机都可以访问阵列中的块存储设备，并在其上创建文件系统。块存储通常用于需要随机读写的应用程序，例如数据库、虚拟化、高性能计算等应用。 在块存储中，数据是以块的形式传输，并且每个块可以被独立地访问和管理。 块存储通常使用iSCSI（Internet Small Computer System Interface）协议将块设备连接到计算机系统。 存储提供者是一个iSCSI存储设备，使用“iscsi-storage”存储类提供块存储服务。
7.3K10编辑于 2023-05-03 - 来自专栏玖叁叁
文件存储、块存储、对象存储区别（三）
对象存储对象存储是一种分布式存储方式，将数据保存在对象中，每个对象都有唯一的标识符，可以通过该标识符访问对象。 对象存储通常用于需要海量存储的应用程序，例如大数据、人工智能、物联网等应用。对象存储通常由一个对象存储集群提供，该集群由多个存储节点组成，可以水平扩展以增加存储容量和吞吐量。 下面是一个使用Amazon S3提供对象存储的示例：apiVersion: v1kind: Podmetadata: name: example-podspec: containers: - example-pvcspec: accessModes: - ReadWriteOnce resources: requests: storage: 10Gi storageClassName: s3- 存储提供者是Amazon S3存储服务，使用“s3-storage”存储类提供对象存储服务。
7.2K10编辑于 2023-05-03 - 来自专栏DevOps
块存储，文件存储及对象存储 比较
块存储接口的操作对象是二进制数据，物理存储位置是硬盘 （通过逻辑目录 找到对应分区，然后找到对应存储块存储。） 3. 3. 很多时候块存储采用SAN架构组网，传输速率以及封装协议的原因，使得传输速度与读写速率得到提升。 缺点： 1. 操作对象是目录和文件，物理存储位置 是由 文件服务器对应的文件系统来决定的（比块存储多一个过程:判断参数文件 应该存储到哪个逻辑目录上。） 3. 对象存储接口的操作对象是对象，存储位置是大型分布式服务器. 3. 以 S3 为例，主要接口有 PUT/GET/DELETE 等。和文件和对象存储相比，没有随机读写的接口。和文件存储相比，没有目录树的概念。协议更注重简洁。
5.4K11编辑于 2024-03-29 - 来自专栏小四的技术文章
浅谈文件存储
前言 今天分享一下文件存储的一些心得，在软件开发过程中，必然会涉及到文件存储，文件存储的方案有很多，市面上也出现了很多文件系统，我们需要根据自己的需求去选择选择存储方式和规格等等，例如是采用公有云存储还是私有云存储 场景 根据不同的公司的情况，软件的规模，生命周期，文件存储的自然也不同，我们主要来说一下一些解决方案。 私有云存储 对于政府项目，或者一些大型公司的项目，对于文件的安全和隐私比较注重，一般都会采用私有云文件存储，自己搭建文件系统，数据存储在自己的服务器上，它的好处是文件数据全部在自己的手上， 公有云储存 混合云存储 有一些场景可能需要用到混合云存储，有一些公司文件存储在自己的文件服务器上，但是如果出现一些需求，需要去调整大量的内外网环境，可能对某些业务产生一些安全隐患，并且产出不成正比，这时候可能就会选择将文件存储在公有云上 自建文件系统 如果我们需要自建文件系统，那么就需要衡量文件的存储量，如果有历史数据，那么就从历史数据去推算出每天/每月/每年的存储量，并估计出未来增长情况，如果没有，那么可能就需要从客户或者其他的一些指标去估计
4.3K30编辑于 2023-03-02 - 来自专栏Fish
android文件存储
为了输出数据，要把list中存储的写到一个txt文件里，就顺手学了一下 文件存储的方法，说是学，其实又是百度之后复制粘贴。 啊，下面是文件存储从代码，写得挺好的，收藏一下啦~ public void writeTxtToFile(String strcontent, String filePath, String fileName ) { //生成文件夹之后，再生成文件，不然会出错 makeFilePath(filePath, fileName); String strFilePath = } catch (Exception e) { Log.e("TestFile", "Error on write File:" + e); } } // 生成文件 } } catch (Exception e) { e.printStackTrace(); } return file; } // 生成文件夹
3.6K90发布于 2018-01-09 - 来自专栏Python机器学习算法说书人
CSV文件存储
CSV ，全称为 Comma-Separated Values ，中文可以叫逗号分隔值或字符分隔值，其文件以纯文本形式存储表格数据。 这里看不懂没有关系，我们去看一下 csv 的官方文档（https://docs.python.org/3/library/csv.html#id3），找到如图所示的位置。 ? name': 'Bob', 'age': 22}) writer.writerow({'id': '10003', 'name': 'Jordan', 'age': 21}) 这里先定义 3 注意，如果 CSV 文件包含中文的话，还需要指定文件编码。 在做数据分析的时候，此种方法用的比较多，也是一种比较方便地读取 CSV 文件的方法。 我们了解了 CSV 文件的写入和读取方式。这也是一种常用的数据存储方式，需要熟练掌握。
6.8K20发布于 2019-07-26 🗄️Spring Boot 3 整合 MinIO 实现分布式文件存储
引言文件存储已成为一个做任何应用都不可回避的需求。传统的单机文件存储方案在面对大规模数据和高并发访问时往往力不从心，而分布式文件存储系统则提供了更好的解决方案。 本篇文章我将基于Spring Boot 3 为大家讲解如何基于MinIO来实现分布式文件存储。分布式存储的出现在探讨核心内容之前，我们不妨先回顾分布式存储技术是如何伴随系统架构演变发展的。 此时，若仍将文件存储在应用服务器中，在负载均衡机制下可能导致文件访问异常 —— 用户上传的文件可能因路由到其他服务节点而无法访问。 面对这个挑战，我们可以借鉴"分层解决"的架构思想：将文件存储从应用服务中剥离，集中在独立的存储服务中统一管理。这便是分布式文件存储系统的雏形。 ，完全兼容 Amazon S3 云存储服务接口。
1.3K20编辑于 2025-03-05- 来自专栏IT民工的代码世界
SpringBoot开发符合S3协议的文件存储服务
背景公司最近的业务大量涉及安可项目，要求避免使用第三方组件，原有开发框架支持本地文件存储/Minio/各类云存储，现在要求文件独立存储且文件服务需要自研，经调研评估后决定基于SpringBoot开发文件存储服务 ，使用s3协议标准，这样可以直接使用aws-sdk接入无需再开发客户端，且安全安全性方面可以得到足够的保证（签名验证部分参考我的博文《Java实现AWS S3 V4 Authorization自定义验证 () { S3Client s3 = S3Client.builder() .credentialsProvider(StaticCredentialsProvider.create ID：填写配置文件中的usernameSecret Access Key：填写配置文件中的password去除SSL选项图片配置签名在编辑连接页面点击左下角Advanced S3 Compatible Storage Setting选择签名版本为V4图片支持功能支持创建桶/删除桶/上传文件/删除文件/下载文件/创建文件夹功能图片
1.9K31编辑于 2023-07-23 - 来自专栏IT民工的代码世界
SpringBoot开发符合S3协议的文件存储服务
背景 公司最近的业务大量涉及安可项目，要求避免使用第三方组件，原有开发框架支持本地文件存储/Minio/各类云存储，现在要求文件独立存储且文件服务需要自研，经调研评估后决定基于SpringBoot开发文件存储服务 ，使用s3协议标准，这样可以直接使用aws-sdk接入无需再开发客户端，且安全安全性方面可以得到足够的保证（签名验证部分参考我的博文《Java实现AWS S3 V4 Authorization自定义验证 getClient() { S3Client s3 = S3Client.builder() .credentialsProvider(StaticCredentialsProvider.create Key ID：填写配置文件中的username Secret Access Key：填写配置文件中的password 去除SSL选项 配置签名 在编辑连接页面点击左下角Advanced S3 Compatible Storage Setting 选择签名版本为V4 支持功能 支持创建桶/删除桶/上传文件/删除文件/下载文件/创建文件夹功能
1.3K30编辑于 2023-07-25 - 来自专栏Titan笔记
Android数据存储方式之文件存储
文件存储是Android中数据存储的基本方式之一，Android提供了openFileOutput和openFileInput两个方法来提供FileOutStream和FileInputStream，文件将会存储在 下面是一个简单的示例 FileStorageActivity的布局文件如下： <?xml version="1.0" encoding="utf-8"?
11.7K4660发布于 2021-09-10
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号