- 综合排序
- 最热优先
- 最新优先
- 来自专栏用户5909132的专栏
GooseFS 统一命名空间 | 加速存储业务访问
在 GooseFS 的文件操作中，如果以 gfs:// 这一统一的 schema 访问 BU_A 和 BU_E 这两个目录，均可正常访问，且文件缓存在 GooseFS 的本地文件系统中。 目前 GooseFS 命名空间的操作指令集如下： $ goosefs ns Usage: goosefs ns [generic options] [create <namespace> 目前 GooseFS 支持的读写缓存策略分别如下： B. GooseFS提供的透明命名机制，为用户提供了一个统一的数据管理交互视图，用户只需要使用GooseFS提供的访问接口协议，就可以访问不同存储系统，并加速这些存储业务的访问。 点击“阅读原文”，了解更多关于GooseFS！
56670发布于 2021-08-25 - 来自专栏玩转Lighthouse.
使用GooseFS-Lite 工具挂载存储桶
，相比于 COSFS 工具，GooseFS-Lite 可提供更高的大文件读写速度，不受本地磁盘的性能限制。 GooseFS-Lite 支持 POSIX 文件系统的主要功能，例如文件顺序、随机读，顺序写、目录操作等功能。 /Debianapt install -y libfuse-dev安装GooseFS-Litecurl -fssL https://downloads.tencentgoosefs.cn/goosefs-lite 如图可见已经挂载成功设置开机自动挂载首先查看是否有已经挂载的存储桶goosefs-lite stat如果有 需要先取消挂载goosefs-lite umount /path/to/mount编辑服务文件 # 启动后台 Fuse 进程 systemctl start goosefs-lite # 查看后台 Daemon 进程状态 systemctl status goosefs-lite # 查看挂载点列表
71730编辑于 2025-01-24 - 来自专栏用户5909132的专栏
数据加速器 GooseFS 1.3.0 版本正式发布
GooseFS 支持 Kerberos 认证的基本框架如下： GooseFS 集成 Kerberos 认证的主要优势点如下： 1. 可以保障 GooseFS 集群中的数据访问安全； 2. 其他更新点 除了上述更新之外，我们在本次版本中优化了 GooseFS 的产品性能，进一步提升 GooseFS 在大数据、AI 场景下的性能表现。主要更新点如下： 1. GooseFS Worker 节点支持并发 Format ，提升操作性能。 3. GooseFS Fuse 客户端支持覆盖写操作。 4. GooseFS Fuse 客户端优化了 ls 命令的内存占用问题。 5. GooseFS Client 优化了 ListNamespace 的性能。 如果您想了解数据加速器 GooseFS 的更多信息，或者上手使用 GooseFS ，请点击[阅读原文]，查阅官网文档。 点击“阅读原文”，查看更多信息！
51210编辑于 2022-08-26 - 来自专栏用户5909132的专栏
数据加速器 GooseFS 1.2.0 版本正式发布
新春已来临，腾讯云存储团队正式在官方网站上架数据加速器 GooseFS 产品，同时数据加速器 GooseFS 1.2.0 版本正式发布。 ，运维和管理 GooseFS 集群。 cosn-ranger-interface-${version}.jar 在的路径： GOOSEFS_CLASSPATH=${GOOSEFS_HOME}/lib/goosefs-underfs-chdfs 即可： GOOSEFS_CLASSPATH=${GOOSEFS_HOME}/lib/goosefs-underfs-chdfs-${version}.jar:/usr/local/service/hadoop 控制 GooseFS 的访问权限进一步详细了解。
67910编辑于 2022-02-17 - 来自专栏腾讯云存储
GooseFS 统一命名空间 | 加速存储业务访问
用户可以通过 GooseFS 创建命名空间的指令 ns create ，将 COS 和 云 HDFS 的指定文件目录挂载到 GooseFS 中，然后通过 gfs:// 的这一统一的 schema 访问数据 在 GooseFS 的文件操作中，如果以 gfs:// 这一统一的 schema 访问 BU_A 和 BU_E 这两个目录，均可正常访问，且文件缓存在 GooseFS 的本地文件系统中。 目前 GooseFS 命名空间的操作指令集如下： $ goosefs ns Usage: goosefs ns [generic options] [create <namespace> 目前 GooseFS 支持的读写缓存策略分别如下： B. GooseFS提供的透明命名机制，为用户提供了一个统一的数据管理交互视图，用户只需要使用GooseFS提供的访问接口协议，就可以访问不同存储系统，并加速这些存储业务的访问。
64620发布于 2021-08-17 - 来自专栏用户5909132的专栏
数据加速器 GooseFS 1.4 版本正式发布
重点更新点三：GooseFS-FUSE客户端支持降级读 GooseFS-FUSE 可以在一台 Unix 机器上的本地文件系统中挂载一个 GooseFS 分布式文件系统。 GooseFS-FUSE 在访问 GooseFS 时，需要先到 GooseFS 集群中获取缓存文件，如果文件不存在，GooseFS 会到远端对象存储服务上拉取文件。 （GooseFS 1.4.0） 6. GooseFS 配置精简优化，减少了不必要的配置项，提升了配置易用性。（GooseFS 1.4.0） 7. listInfo 精简优化。 （GooseFS 1.4.0） 8. 大文件顺序读优化。（GooseFS 1.4.0） 9. 支持清理和查看未完成文件列表（GooseFS 1.4.1） 10. （GooseFS 1.4.1） 4. 修复大文件写入耗尽客户端资源后死锁的问题。（GooseFS 1.4.1） 点击“阅读原文”了解数据加速器 GooseFS更多信息
71620编辑于 2023-04-05 - 来自专栏腾讯云存储
在腾讯云 EMR 上使用 GooseFS 加速大数据计算服务
本文将介绍如何在腾讯云 EMR 上使用 GooseFS 加速大数据计算任务。 3 GooseFS Table & Partition 管理与预热 GooseFS Table & Partition 管理与预热能力都是通过 GooseFS 的 table 命令行来实现： $ goosefs tableUsage: goosefs table [generic options] [attachdb [-o|--option <key=value>] [--db <goosefs db 在预热 Hive DB 中的指定 Table & Partition 到 GooseFS 之前，需要先将 DB 挂载到 GooseFS 中： $ goosefs table attachdb --db 其中，GooseFS 挂载 COSN 作为其UFS，并且提前预热了测试数据集。 在相同的测试数据集本地化的程度下，GooseFS 读数据访问性能上相对 HDFS 更好。
1.5K20发布于 2021-08-25 - 来自专栏用户5909132的专栏
GooseFS助力大数据业务数倍提升计算能力
缓存加速和数据本地化GooseFS提供的重要能力之一。 GooseFS 可以与计算节点混合部署提高数据本地性，利用高速缓存功能解决存储性能问题，提高读写对象存储 COS 文件的效率。 本文介绍了GooseFS读写元数据时的表现，并与HDFS进行对比；同时也测试了在混合读写情况下GooseFS在性能表现上的稳定性。 01 测试表现 我们使用NNBench进行测试。 在测试方案上，我们在GooseFS和 HDFS 上创建相同的数据集，观察TPS值，对比GooseFS性能表现情况。 （2）数据量增加的时候GooseFS处理数据等性能提升更明显。 这个主要是因为GooseFS采用文件粒度锁，可以并发创建文件。而HDFS是全局锁，相当于顺序做创建操作。 在测试方案上，为了保证HDFS和GooseFS测试数据的一致性，我们采用相同的数据集，执行相同的操作，测试GooseFS和HDFS元数据服务遍历操作的执行效率。
53740发布于 2021-08-25 - 来自专栏腾讯云存储
GooseFS透明加速能力，助力加速 CosN 访问 COS 的性能
透明加速能力是GooseFS的特色功能，用于加速 CosN 访问 COS 的性能。 对于已经使用 CosN 工具访问 COS 的用户，GooseFS 提供了一种客户端路径映射方式，让用户可以在不修改当前 Hive table 定义的前提下，仍然能够使用 CosN scheme 访问 GooseFS 将 GooseFS 的客户端 jar 包（goosefs-1.0.0-client.jar）放入 share/hadoop/common/lib/ 目录下： cp goosefs-1.0.0-client.jar 将 GooseFS 的客户端 jar 包放到 Hive 的 auxlib 目录下，使得 Hive 能加载到 GooseFS Client 包： cp goosefs-1.0.0-client.jar 创建 GooseFS Schema 表和查询数据 通过如下指令执行： create database goosefs_test; use goosefs_test; CREATE TABLE u_user_gfs
59920发布于 2021-08-11 - 来自专栏CNCF
Fluid + GooseFS 助力云原生数据编排与加速快速落地
本文将首先介绍 Fluid 技术的诞生背景以及与 GooseFS 之间的关系；其次通过在 TKE 集群上的实际操练让大家体验 Fluid v0.6.0 的两大特性；最后我们将和大家一起探讨 Fluid GooseFS & Fluid 探究 云原生数据湖加速器 GooseFS 数据湖加速器（Data Lake Accelerator Goose FileSystem，GooseFS）[3]，是由腾讯云推出的高可靠 、TKE、GooseFS 三者之间的关系。 计算调度层：TKE 以 Kubernetes 环境为底座提供了容器应用的部署平台，Fluid GooseFS 控制器将控制 GooseFS 实例中的 Master Pod、Worker Pod 以及 Fuse 用户可以在 Fluid 中通过 GooseFSRuntime 使用 GooseFS 缓存能力进行腾讯云 COS 文件的访问和缓存。
95950发布于 2021-08-26 - 来自专栏用户5909132的专栏
GooseFS透明加速能力，助力加速 CosN 访问 COS 的性能
透明加速能力是GooseFS的特色功能，用于加速 CosN 访问 COS 的性能。 对于已经使用 CosN 工具访问 COS 的用户，GooseFS 提供了一种客户端路径映射方式，让用户可以在不修改当前 Hive table 定义的前提下，仍然能够使用 CosN scheme 访问 GooseFS 将 GooseFS 的客户端 jar 包（goosefs-1.0.0-client.jar）放入 share/hadoop/common/lib/ 目录下： cp goosefs-1.0.0-client.jar 将 GooseFS 的客户端 jar 包放到 Hive 的 auxlib 目录下，使得 Hive 能加载到 GooseFS Client 包： cp goosefs-1.0.0-client.jar 创建 GooseFS Schema 表和查询数据 通过如下指令执行： create database goosefs_test; use goosefs_test; CREATE TABLE u_user_gfs
63330发布于 2021-08-25 - 来自专栏csico
Fluid + GooseFS 助力云原生数据编排与加速快速落地
本文将首先介绍 Fluid 技术的诞生背景以及与 GooseFS 之间的关系；其次通过在 TKE 集群上的实际操练让大家体验 Fluid v0.6.0 的两大特性；最后我们将和大家一起探讨 Fluid GooseFS & Fluid 探究 云原生数据湖加速器 GooseFS 数据湖加速器（Data Lake Accelerator Goose FileSystem，GooseFS），是由腾讯云推出的高可靠 、TKE、GooseFS 三者之间的关系。 计算调度层：TKE 以 Kubernetes 环境为底座提供了容器应用的部署平台，Fluid GooseFS 控制器将控制 GooseFS 实例中的 Master Pod、Worker Pod 以及 Fuse 用户可以在 Fluid 中通过 GooseFSRuntime 使用 GooseFS 缓存能力进行腾讯云 COS 文件的访问和缓存。
68610发布于 2021-09-07 - 来自专栏腾讯云存储
GooseFS助力大数据业务数倍提升计算能力
GooseFS 基于开源大数据缓存方案 Alluxio 进行设计和研发。 缓存加速和数据本地化GooseFS提供的重要能力之一。 GooseFS 可以与计算节点混合部署提高数据本地性，利用高速缓存功能解决存储性能问题，提高读写对象存储 COS 文件的效率。 在测试方案上，我们在GooseFS和 HDFS 上创建相同的数据集，观察TPS值，对比GooseFS性能表现情况。 （2）数据量增加的时候GooseFS处理数据等性能提升更明显。 这个主要是因为GooseFS采用文件粒度锁，可以并发创建文件。而HDFS是全局锁，相当于顺序做创建操作。 在测试方案上，为了保证HDFS和GooseFS测试数据的一致性，我们采用相同的数据集，执行相同的操作，测试GooseFS和HDFS元数据服务遍历操作的执行效率。
1K40发布于 2021-08-10 - 来自专栏腾讯云存储
GooseFS 在云端数据湖存储上的降本增效实践
因此，腾讯云对象存储研发团队进一步演进了近客户侧的加速存储系统 GooseFS 用以解决上述问题。本文将通过一个独特新颖的客户实践来着重介绍使用 GooseFS 对有大数据/数据湖业务平台的降本增效。 本文将着重介绍某音乐类大客户通过使用 GooseFS 提升其大数据业务效能，从而相应缩减计算资源的实践来归纳 GooseFS 在云端大数据/数据湖平台的降本增效上的关键作用。 图片同时，由于热数据大多缓存到了 GooseFS 中，因此极大地降低 GooseFS 的带宽负载，达到一举两得的目的。但是，我们需要解决如下三个问题：如何让用户不做任何改动的引入 GooseFS。 GooseFS 自身的 HCFS 实现类。 四、GooseFS 安全原先客户环境依赖的 CHDFS 采用了自定义身份认证方案以及 Ranger 鉴权，GooseFS 可无缝地接入 UFS 的认证和鉴权：图片GooseFS 实际会将 GooseFS
3.9K133编辑于 2022-06-14 - 来自专栏腾讯云存储
数据湖加速器GooseFS，加速湖上数据分析性能
数据湖加速器 GooseFS 是由腾讯云推出的高性能、高可用、弹性的分布式缓存方案。 一、产品功能 GooseFS 旨在提供一站式的缓存解决方案，在利用数据本地性和高速缓存，统一存储访问语义等方面具有天然的优势；GooseFS 在腾讯云数据湖生态中扮演着“上承计算，下启存储”的核心角色， GooseFS 基于开源大数据缓存方案 Alluxio 进行设计和研发，相较于开源方案，GooseFS 提供了更多关键特性，稳定性和性能优化；同时深度融合了腾讯云生态，对接了腾讯云TKE、EMR等计算服务 业务侧不仅可以在腾讯云弹性 MapReduce 产品中使用，GooseFS 加速大数据业务，也可以便捷地将 GooseFS 本地化部署在公有云 CVM 或者自建 IDC 内。 此外，GooseFS 也支持了透明加速能力，支持通过 COSN Interface一访问对象存储；对于已经使用 COS 大数据插件 COSN 的用户，可以非常方便地将 GooseFS 引入到 COSN
1.2K30发布于 2021-07-16 - 来自专栏腾讯云存储
GooseFS 论文入选国际学术研讨会 NAS 2024
会中，腾讯云存储荣获2024《存储产业先锋奖》的殊荣，腾讯云存储相关论文《GooseFS: Distributed Cache Service to Enhance Cloud Object Storage 本次峰会腾讯云存储研发总监程力针对入选论文做了专题报告，提出了 GooseFS 一个搭建在对象存储之上的分布式高性能文件系统，实现了存储计算分离架构下，对象存储的加速访问。 GooseFS 引入了三个关键设计： 1. 计算端缓存，以多级粒度缓存管理和短路读机制降低了随机小 IO 下的数据访问时延。 2. 实验结果表明，相比原生对象存储，GooseFS 的吞吐量提升了8~10倍，同时降低了90%的存储带宽消耗，满足了多种工作负载对高性能要求。 整个 GooseFS 包含一个计算集群、元数据集群和数据集群。 计算集群由众多计算节点构成，客户端部署在上面发起请求。计算集群上部署了计算端缓存，用以降低数据 IO 延迟。
26400编辑于 2025-02-10 - 来自专栏腾讯云原生团队
Fluid + GooseFS 助力云原生数据编排与加速快速落地
本文将首先介绍 Fluid 技术的诞生背景以及与 GooseFS 之间的关系；其次通过在 TKE 集群上的实际操练让大家体验 Fluid v0.6.0 的两大特性；最后我们将和大家一起探讨 Fluid GooseFS & Fluid 探究 云原生数据湖加速器 GooseFS 数据湖加速器（Data Lake Accelerator Goose FileSystem，GooseFS）[3]，是由腾讯云推出的高可靠 、TKE、GooseFS 三者之间的关系。 计算调度层：TKE 以 Kubernetes 环境为底座提供了容器应用的部署平台，Fluid GooseFS 控制器将控制 GooseFS 实例中的 Master Pod、Worker Pod 以及 Fuse 用户可以在 Fluid 中通过 GooseFSRuntime 使用 GooseFS 缓存能力进行腾讯云 COS 文件的访问和缓存。
67231发布于 2021-08-17 - 来自专栏用户5909132的专栏
在腾讯云 EMR 上使用 GooseFS 加速大数据计算服务
本文将介绍如何在腾讯云 EMR 上使用 GooseFS 加速大数据计算任务。 3 GooseFS Table & Partition 管理与预热 GooseFS Table & Partition 管理与预热能力都是通过 GooseFS 的 table 命令行来实现： $ goosefs tableUsage: goosefs table [generic options] [attachdb [-o|--option <key=value>] [ 在预热 Hive DB 中的指定 Table & Partition 到 GooseFS 之前，需要先将 DB 挂载到 GooseFS 中： $ goosefs table attachdb --db 其中，GooseFS 挂载 COSN 作为其UFS，并且提前预热了测试数据集。 在相同的测试数据集本地化的程度下，GooseFS 读数据访问性能上相对 HDFS 更好。
1.4K90发布于 2021-08-27 - 来自专栏用户5909132的专栏
雁栖学堂：湖存储专题直播第一讲回顾
二、数据湖加速器GooseFS的具体应用； 三、数据湖加速器GooseFS对比Alluxio的优势？ 四、如何在腾讯云上构建数据湖？ 二、数据湖加速器GooseFS的具体应用 随着业务的增长，本地IDC自建、云上自建大数据集群，面对诸多痛点，数据湖加速器GooseFS从成本、性能、运维等多个维度去解决这些痛点。 三、数据湖加速器GooseFS对比Alluxio的优势 了解了数据湖加速器GooseFS这么多的具体应用后，我们来看下他跟Alluxio在数据安全、性能、稳定性、运维、缓存策略及部署等方面的优势具体有哪些 GooseFS快速入门：https://cloud.tencent.com/document/product/436/56413 GooseFS部署在腾讯云EMR：https://cloud.tencent.com /document/product/436/58513 GooseFS部署在腾讯云TKE：https://cloud.tencent.com/document/product/436/57225 GooseFS
64240编辑于 2021-12-30 - 来自专栏用户5909132的专栏
拥抱云原生，数据湖加速器 GooseFS 助力 Fluid 数据缓存实现
01 前言 数据湖加速器 GooseFS 是由腾讯云推出的高性能、高可用、弹性的分布式缓存方案。 02 GooseFS助力Fluid数据缓存实现 Fluid是CNCF基金会旗下云原生环境中数据密集型应用的高效支撑平台。 近期 Fluid 0.6 版本正式发布，在该版本中，GooseFS 作为新增的缓存引擎正式亮相，同时支持缓存引擎高可用并新增公有云缓存引擎。 用户可以在 Fluid 中通过 GooseFS Runtime 使用 GooseFS 缓存能力访问和缓存腾讯云 COS 中的文件，可以实现数倍加速业务访问。 腾讯云容器服务 TKE和EKS 为快速部署 GooseFS 提供了便捷易用的途径，用户只需要在应用市场上选择 GooseFS 应用，为对应集群快速创建并部署应用即可在 Fluid 上使用和部署 GooseFS
47930发布于 2021-08-25
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号