首页
学习
活动
专区
圈层
工具
发布
    • 综合排序
    • 最热优先
    • 最新优先
    时间不限
  • 来自专栏都到8月了

    使用Python操作S3存储

    最常用的方法是通过Boto3库,这是官方提供的Python SDK。安装Boto3首先,你需要安装Boto3。 可以通过pip来安装:pip install boto3配置AWS凭证在使用Boto3之前,你需要配置你的AWS凭证。 基本操作示例上传文件到S3import boto3# 创建一个S3客户端s3_client = boto3.client('s3')# 上传文件with open("your-file-path", " s3_resource = boto3.resource('s3')# 上传文件s3_resource.Bucket('your-bucket-name').upload_file('your-file-path Boto3非常强大,支持几乎所有S3的功能,包括但不限于版本控制、预签名URL生成、生命周期策略管理等。

    65500编辑于 2025-08-19
  • 来自专栏云计算D1net

    通过3个步骤实现安全的存储

    企业可以使用计算供应商为其提供额外的工具来保护数据,但仍有来自用户端的工作要做。 如果企业在任何计算应用程序中存储文件,则需要安全的存储。 保护存储安全的三种主要方法是通过数据丢失预防、威胁预防和帐户监控。 1.云中的数据丢失预防 有许多方法可以将数据丢失防护工具整合到企业的安全存储基础设施中。 计算恶意软件威胁防护工具将帮助企业保护存储应用中的数据免受已知和未知的恶意软件威胁和网络钓鱼计划的影响。它还可以保护企业所有应用程序、文件和驱动器免受攻击。 3.计算应用程序帐户监控 如果使用基于的平台,那么企业需要一个帐户监控工具来持续扫描内部员工的帐户接管和/或不合规行为,这些内部员工可以出于多种原因使用对敏感信息和帐户的访问权限。 寻找自己安全存储解决方案 谷歌,微软和其他SaaS平台认识到公司可能需要更多本地提供的云安全解决方案。

    1.3K40发布于 2019-07-17
  • 来自专栏Minio

    使用 搭建 S3 兼容的存储服务

    MinIO 简介 MinIO 是一个高性能的、S3 协议兼容的对象存储服务器,适合自建文件存储,支持多用户、多桶、分布式部署。 ️ 一、部署 MinIO 单节点(适合入门测试) 1. 创建存储目录 mkdir -p /data/minio 3. 修改 Django settings.py: DEFAULT_FILE_STORAGE = 'storages.backends.s3boto3.S3Boto3Storage' AWS_S3_ENDPOINT_URL ✅ 总结:MinIO 的优势 优点 说明 开源免费 不依赖商业,适合私有化部署 S3 兼容 完美对接 Django、Flask 等框架 支持分布式 可水平扩展 高性能 适用于大文件、高并发上传 ❌注意事项 3. 可能引发文件权限问题 MinIO 是基于存储权限进行访问控制的。

    4.2K10编辑于 2025-03-26
  • 来自专栏用户5909132的专栏

    如何使用亚马逊对象存储AWS S3 SDK访问腾讯存储COS

    二 准备工作 您已注册腾讯账号,并且从访问管理控制台上获取了腾讯密钥 SecretID 与 SecretKey。 已有一个集成了 S3 SDK,并能正常运行的客户端应用。 初始化 初始化实例时,您需要设置临时密钥提供者和 Endpoint,以存储桶所在地域是ap-guangzhou为例: AmazonS3Client s3 = new AmazonS3Client(new 初始化 初始化实例时设置腾讯密钥和 Endpoint,以存储桶所在地域是ap-guangzhou为例,代码示例如下: var AWS = require('aws-sdk'); AWS.config.update 代码中设置 Endpoint 以存储桶所在地域是ap-guangzhou为例,代码示例如下: AmazonS3 s3Client = AmazonS3ClientBuilder.standard() 初始化 初始化实例时设置腾讯密钥和 Endpoint,以存储桶所在地域是ap-guangzhou为例: string sAccessKeyId = "COS_SECRETID"; string sAccessKeySecret

    6.2K30发布于 2020-05-26
  • 来自专栏企鹅号快讯

    大话存储

    存储设备横向扩展的方式让存储系统具有了无限扩展的能力,能够实现控制器与硬盘的同时扩展,即性能与容量可以同时实现线性扩展,存储一般可以分为私有存储、公有存储3存储计算的关系 当计算系统运算和处理的核心是大量数据的存储和管理时,计算系统中就需要配置大量的存储设备,那么计算系统就转变成为一个存储系统,所以存储是一个以数据存储和管理为核心的计算系统 3.几种常规备份操作方式:重要性文件可供选择 重要系统数据及软件等:轻量化存储及备份可以选择 (1)U盘或移动硬盘备份重要数据 分享一个比较实用的建议给Mac用户, Time Machine 是个不错的备份盘选择 Partition Master Free、WinDirStat、CloneZilla、Defraggler、Recuva、HD Tune、Disk2vhd、OSFMount (2)刻录机光盘刻录 (3) ,小存量文件也可以存储到自己的邮箱内 5、企业用户存储计算技术如何保障数据安全 存储的一大优势在于其弹性,其实更准确说最初存储产品的安全性是产品的附加属性。

    14K60发布于 2018-01-15
  • 存储计算储存

    以下是对存储的全面详细讲解:存储的基本概念存储(Cloud storage)是一种网络在线存储模式,用户将数据存放在通常由第三方托管的多台虚拟服务器上,而非专属的服务器。 存储的技术原理存储作为计算的一个核心组成部分,承担着数据存储与信息收集的任务。 存储的市场趋势存储市场规模预计将持续增长,2023年全球存储市场规模为1440.5亿美元,预计到2031年将达到6552亿美元。 存储的行业应用存储技术广泛应用于金融、电信、政务和制造业等行业,这些行业对存储的营收贡献超过70%。这些行业在数据管理、业务连续性和技术创新方面对存储的深层依赖及其对策略重要性的认知。 存储的技术发展未来,存储将呈现出以下发展趋势:智能化与自动化:随着AI技术的发展,存储将实现更加智能化和自动化的管理。

    12.4K10编辑于 2024-12-08
  • 来自专栏腾讯云存储

    腾讯存储网关提供混合存储服务,实现数据分层存储

    存储网关(Cloud Storage Gateway,CSG)是腾讯提供的混合存储服务。 ) 02 高健壮性 11’9的数据持久度,采用无状态设计、存量设计、黑匣子设计(记录CSG缓存加速但未写入COS的数据)、3副本和纠删码技术,保障用户数据的健壮性,在极端情况下用户数据不会丢失。 通过在腾讯上部署创建存储网关CSG,您无需关心本地应用与存储的兼容性,CSG可以在无感知的状态下实现协议转化,将数据以原始格式上传COS。 02 数据扩容 拓展本地 NAS 和 SAN 存储阵列需要耗费硬件成本和人力部署成本,您只需要在本地部署存储网关 CSG 将公有存储接入到本地存储系统架构,即可享受安全稳定、海量、低成本的公有服务。 写在最后 腾讯存储网关通过本地存储空间缓存了热点数据,保证了前端应用的本地访问性能,同时又可以利用上海量的存储空间。

    27.4K30发布于 2021-07-29
  • 来自专栏用户5909132的专栏

    腾讯存储网关提供混合存储服务,实现数据分层存储

    存储网关(Cloud Storage Gateway,CSG)是腾讯提供的混合存储服务。 涉爆等) 02 高健壮性 11’9的数据持久度,采用无状态设计、存量设计、黑匣子设计(记录CSG缓存加速但未写入COS的数据)、3副本和纠删码技术,保障用户数据的健壮性,在极端情况下用户数据不会丢失。 通过在腾讯上部署创建存储网关CSG,您无需关心本地应用与存储的兼容性,CSG可以在无感知的状态下实现协议转化,将数据以原始格式上传COS。 02 数据扩容 拓展本地 NAS 和 SAN 存储阵列需要耗费硬件成本和人力部署成本,您只需要在本地部署存储网关 CSG 将公有存储接入到本地存储系统架构,即可享受安全稳定、海量、低成本的公有服务。 写 在 最 后 腾讯存储网关通过本地存储空间缓存了热点数据,保证了前端应用的本地访问性能,同时又可以利用上海量的存储空间。

    29.5K30发布于 2021-08-25
  • 来自专栏SRE运维实践

    漫谈存储

    这篇文章也是,谈谈存储的时候,再来聊聊其他的一些想法。 计算 计算已经遍地开花,各种层面的运维已经漫地都是。。。IAAS层的运维,PAAS层的运维,SAAS层的运维。。。 而当使用所谓的申请虚拟机的时候,是否需要持久化存储,是否需要存储?数据存储在哪里?分布式存储。。。 上。。。。最重要的莫过于存储!!! 存储 心到处流浪,无处安放总是不好的,所以总要找一个人,寻一座城,进行持久化存储。。。这就是存储的由来。。。 为啥需要存储存储的好处太多,但是在底层基本都是分布式存储,其实存储也就是分布式存储,只不过进行了一层封装,这就是为什么那么多人需要打扮的花枝招展,不然怎么招蜂引蝶。。。 需要存储哪些数据? 大数据。。。存储存储中。 虚拟机VM的快照备份信息。。。存储存储中。 数据库的备份binlog信息。。。存储存储中。

    13K60发布于 2019-07-08
  • 来自专栏大帅老猿

    存储基础

    存储基础 使用uniCloud的存储,无需再像传统模式那样单独去购买存储空间、CDN映射、流量采购等; 文件上传至存储3种方式: uniCloud Web控制台:点击存储,通过web界面进行文件上传 由于安全原因暂时禁止存储内上传html文件。 在uniCloud由阿里提供的空间里,存储总文件量上限为10GB,单文件大小限制为100MB,自带CDN并且完全免费。 ,再由函数上传到存储,应该在客户端直传存储存储常用文件处理 在访问存储中的图片或视频文件时,我们可以通过追加一些参数来即时处理文件。 单张图片最多支持添加3张不同的图片水印,且各个图片水印的位置不能完全重叠。 文字水印暂不支持繁体中文。 图片格式转换 可以通过格式转换参数,转换存储中图片文件的格式。

    17.5K20编辑于 2022-04-13
  • 来自专栏云计算D1net

    存储(对象存储)性价比小谈

    概述 这几年存储成为计算领域最为火热的产品之一,大家众说纷“”,互联网的未来就是数据争抢的未来,所有数据都会优选存储在云中。 一般存储会分几种类型:对象存储(冷、热数据存储)、块存储、表格存储等,今天主要是评测的是对象存储中的热存储,小编带着大家一起通过性价比的对比方式来给各个厂商排出名次。 ,为了防止有读缓存会影响性能,使用随机获取对象Key值,同时为了不让测试机器成为瓶颈,仅使用3线程操作(1GB文件是1个线程),在每个线程中加入Thinking Time来保证测试机网络带宽不是瓶颈,测试机都选用离存储相同的区域 OSS性价比作为标杆,其性价比值设置为1,其他厂商来跟他对标情况,能得出如下一些如下的结论: 1、从下图的性价比图示看,阿里的OSS性价比最高,其次是AWS的S3以微弱的差值位列第二,在业界标称良心价格的七牛居然意外的性价比最差 60%)/(存储TPS性能相对值/4*40%) 存储RT性能相对值=阿里/AWS(GET1K文件(RT))+阿里/AWS(PUT1K文件(RT))+阿里/AWS(GET1M文件(RT)+阿里

    15K50发布于 2018-03-23
  • 来自专栏腾讯云存储团队

    使用 s3browser 管理腾讯 COS 存储桶文件

    腾讯 COS 有提供一个桌面工具 cosbrowser,可以可视化管理 COS 存储桶文件,支持 Windows、macOS。 本文介绍如何使用另一个桌面软件 s3browser ,只支持 Windows,但相比 cosbrowser 带有一些高级功能。 一、下载软件 首先在 https://s3browser.com 下载安装包,并打开安装。 Access Key ID:填写腾讯 SecretId,具体查看 API控制台 Access Key ID:填写腾讯 SecretKey 点击 advanced setting 打开弹窗里,对 Addressing 支持拖拽上传文件/文件夹 四、高级功能 image.png 存储桶和文件菜单下有很多高级功能,功能很完善,其中有一部分不完全兼容。

    8.5K60编辑于 2024-08-21
  • 来自专栏『云开发』

    存储』上传文件

    一、前言 本篇文章是『存储』文章的第 1 篇,主要介绍『存储』上传文件 通过前几篇文章,已经全面讲解了微信数据库的 CRUD(创建、读取、更新、删除)操作。 三.上传文件 正如前文所述,在进行数据库操作前,必须先获取数据库的引用才能执行增、删、改、查等操作。存储的使用逻辑也如出一辙,我们需要先获得存储的引用,之后才能顺利进行文件上传等相关操作。 那么,我们如何获取到存储的引用呢?操作起来非常简便。只需使用 wx.cloud 这一接口,我们就可以轻松获取存储的引用,然后利用 uploadFile 方法进行文件上传。 同时,我们还需提取文件的扩展名,以便于在存储中正确地识别文件类型。 3.如何动态生成文件名称,以确保文件名的唯一性 4.如何在存储中创建文件夹,并将文件上传至指定文件夹 最后,我要感谢您阅读本文。

    5.2K20编辑于 2024-02-27
  • 来自专栏『云开发』

    存储』删除文件

    一、前言 本篇文章是『存储』文章的第 3 篇,主要介绍『存储』删除文件 在前一篇文章中,详细介绍了从存储中下载文件的步骤和须知。 掌握了文件下载的方法后,现在让我们继续深入了解如何在存储中执行删除文件的操作。 我们不能一味地向存储中添加数据而不进行清理。 为了确保能够准确执行删除操作,我们首先需要获取存储中文件的唯一标识符,即 fileID 如此一来,我们就获得了需要删除的文件的 fileID。 这时,我们可以前往存储控制台进行刷新,查看文件。 您会发现,原先对应于 cloud://cloud1-5gnw7kej2c68cd30.636c-cloud1-5gnw7kej2c68cd30-1322890583/dengdeng3.jpg 的内容已经被成功删除

    4.8K21编辑于 2024-02-26
  • Electron+Vue3+AI+存储--实战跨平台桌面应用

    在命令行中输入以下命令:npm install -g electron3. 创建项目使用 Electron 创建一个新的项目非常简单。

    1K00编辑于 2024-12-03
  • 来自专栏闵开慧

    存储深层解析

    近期,EMC宣布加入 道里可信基础架构项目,致力于计算环境下关于信任和可靠度保证的全球研究协作,IBM也将计算标准作为全球备份中心的3亿美元扩展方案的一部分。    存储变得越来越热,大家众说纷””,而且各有各的说法,各有各的观点,那么到底什么是存储?    使用者使用存储,并不是使用某一个存储设备,而是使用整个存储系统带来的一种数据访问服务。所以严格来讲,存储不是存储,而是一种服务。 四、访问层:   任何一个授权用户都可以通过标准的公用应用接口来登录存储系统,享受存储服务。存储运营单位不同,存储提供的访问类型和访问手段也不同。 3 存储的技术前提   从上面的存储结构模型可知,存储系统是一个多设备、多应用、多服务协同工作的集合体,它的实现要以多种技术的发展为前提。   

    9.3K60发布于 2018-04-02
  • 来自专栏黄希彤的专栏

    玩转文件存储

    导语 腾讯文件存储 CFS 终于可算发布了。在这之前我们已经有了本地硬盘、硬盘、SSD 硬盘、对象 存储(COS)、归档存储等这么多种存储产品,为什么还需要一种新的产品呢? ; #指定临时文件目录 proxy_cache_path /proxy/proxy_cache_dir levels=1:2 keys_zone=cache_one:150m inactive=3d 在以往,为了实现集群中的一组服务器上的登录状态共享,经常需要修改默认的会话逻辑,比如另外搭建或者采购一个memcache/redis等缓存服务来存储会话,或者干脆用数据库来存储会话。 搭配弹性伸缩服用效果更佳 弹性伸缩服务可以按需为上的系统提供恰到好处的计算和分发能力,但是 A.在遭遇系统扩容的时候,用旧镜像新生成的扩容服务器经常数据不是最新的,需要做额外的工作来同步 B. 这样腾讯默认的系统缩扩容就难以全自动的完成缩扩容所需要的全部工作了。 A问题也许还好一点,我们可以在服务器镜像中前置一个开机任务来追上新数据。

    14.6K40发布于 2017-08-11
  • 来自专栏Android开发指南

    3.数据存储

    在内部文件的读取    **内部存储(internal storeage)      ram:运行时期的内存      (相当于电脑的内存)      rom;存储的内存     (相当于电脑的硬盘) ,sd卡路径:storage/sdcard * 所有存储设备,都会被划分成若干个区块,每个区块有固定的大小 * 存储设备的总大小 = 区块大小 * 区块数量    一般的术语:手机自带的32G,指的是手机的外部存储空间 3. 储存步骤 得到了SharedPreferences对象之后, 就可以开始向SharedPreferences文件中存储数据了,主要可以分为三步实现。 1. 3. 调用 commit()方法将添加的数据提交,从而完成数据存储操作。

    1.3K70发布于 2018-05-14
  • 来自专栏技术杂记

    Mysql 优化存储3

    结果是类似这样的 [root@opti-slave tmp]# cat optimize.sql optimize table azheng_db.answers; optimize table azheng_db.feedbacks; optimize table azheng_db.logged_exceptions; optimize table azheng_db.question_answers; optimize table azheng_db.questions; optimize tabl

    39020编辑于 2022-03-21
  • 来自专栏python3

    KVM专题(3存储

    KVM存储模式 基于文件系统的存储 dir:目录格式的存储 fs:磁盘分区存储 neyfs:网络共享文件存储 基于设备的存储 Disk:物理硬盘存储 Iscsi:iSCSITarget后端存储 logical : 存储池的基本概念 Libvirt可以以存储池的形式对存储进行统一管理、简化操作 对于虚拟机操作来说,存储池和卷并不是必须的 ? gpt格式 准备xml文件 <pool type='disk'> <name>guest_images3_fs</name> <source> <device path='/dev/sdc virsh pool-start guest_images<em>3</em>_fs :启动<em>存储</em>池 创建基于iscsi的<em>存储</em>池 在iscsi Target服务器上面安装target服务,并配置 /backstores/ <em>存储</em>卷 ?

    1.3K10发布于 2020-01-10
领券