- 综合排序
- 最热优先
- 最新优先
- 来自专栏气象杂货铺
Zarr真的能替代NetCDF4和HDF5吗
Unidata在2019年开始在netCDF-C中引入Zarr支持，并从4.8.0版本开始正式支持Zarr，命名为NCZarr。 ，便尝试了Zarr。 zarr 或通过github安装最新开发版本 pip install git+https://github.com/zarr-developers/zarr-python.git 食用方法 xarray 中提供了非常方便的Zarr格式的读写方法，通过 xr.open_zarr 和 xr.to_zarr 函数可以实现对 Zarr 格式的读写操作。 如果对如果是对文件读写有较高要求的业务部门可以尝试采用Zarr格式来进一步改善效率，但是要注意目前Zarr尚未发展成熟，关键业务仍不建议采用Zarr，除非部门有对文件IO部分特别熟悉的，有备份补救措施。
3.9K30编辑于 2022-09-23 基础脚本更新--10X HD的bin模式与细胞分割模式的数据读取与基础分析
格式# 这会创建一个名为 'visium_hd.zarr' 的文件夹，里面包含了所有数据sdata.write(". /visium_hd.zarr")然后读取细胞分割后的HD数据结果(包含bin模式的数据)visium_hd_zarr_path = ". /visium_hd.zarr"import spatialdata as sdimport spatialdata_plotsdata = sd.read_zarr(visium_hd_zarr_path )sdataSpatialData object, with associated Zarr store:. /visium_hd.zarr├── Images│ ├── 'Visium_HD_3prime_Mouse_Brain_hires_image': DataArray[cyx] (3, 5492
38221编辑于 2026-02-28内容复习--Xenium 5k (包括CosMx大panel)基础与多样本整合分析
matplotlib.pyplot as pltimport seaborn as snsimport pandas as pdimport numpy as np读取Xenium数据xenium_path = "xenium"zarr_path = "xenium/Xenium.zarr"sdata = xenium(xenium_path)sdata.write(zarr_path, overwrite = True)sdata = sd.read_zarr (zarr_path)adata = sdata.table['table']####添加样本信息## add sample_id information to cells，barcode，samplemids
53710编辑于 2025-04-16- 来自专栏自学气象人
【xarray库(二)】数据读取和转换
Zarr包 Zarr[12]是一个 Python 包和数据格式，实现了分块、压缩、n 维数组的储存。 若没有安装过 Zarr 包，可以通过pip 安装 pip install zarr 或者通过conda进行安装 conda install -c conda-forge zarr 如果要确认是否安装成功 xarray 对象可以能用to_zarr[13]方式以 Zarr 文件的形式写入到硬盘。 import zarr ds1.to_zarr("ds1.zarr", mode="w") 此时可以获得一个文件夹ds1.zarr。 ” 读取 zarr 文件 xr.open_zarr("ds1.zarr", chunks=None) 将 chunks（分块）参数设置为 None 可以避免 dask 数组（在后面的章节中会详细介绍）
8K60编辑于 2022-11-02 - 来自专栏好奇心Log
xarray系列｜数据处理和分析小技巧
可以先测试单文件读取看是否正常； xr.save_mfdataset 可以进行nc文件的批量写入操作，但是使用时需要注意，后面单独推一下批量写nc文件； 如果不是必须要用nc和grib等格式的话，可以尝试一下 zarr 格式，在文件的读取方面非常方便，而且效率要更高，可以实现文件的并行读写和增量写操作； 注意：目前没有类似 xr.open_mfdataset 的函数批量读取 zarr 格式文件，如果读取两个不同的 zarr 格式文件，想要合并时，可能会出现 chunk 不一致的问题，这时候可以通过 .chunk 方法重新设置 chunk 大小进行合并，比如： zarr3 = (xr.concat([zarr1, zarr2
3.1K22发布于 2021-11-10 - 来自专栏天意生信俱乐部
Squidpy空转分析教程：基于Xenium数据的空间转录组分析
seaborn as sns import scanpy as sc import squidpy as sq 加载 Xenium 数据集 我们使用官网提供的人类肺癌 Xenium 数据集，并将其转换为 Zarr 格式以便高效存储和读取： # 指定数据集路径和 Zarr 文件存储位置 xenium_path = ". /Xenium/" zarr_path = ". /Xenium.zarr" # 使用 Xenium Reader 加载数据到 SpatialData 对象 sdata = xenium(xenium_path) # 转换为 Zarr 格式 sdata.write (zarr_path) # 读取 Zarr 文件 sdata = sd.read_zarr(zarr_path) print(sdata) 细胞坐标设置 Squidpy 默认在 .obsm["spatial
1.1K10编辑于 2025-05-08 分析优化----关于空间原位数据的邻域分析优化
/Xenium"zarr_path = ". /Xenium.zarr"sdata = xenium(xenium_path)sc.pp.filter_cells(adata, min_counts=10)sc.pp.filter_genes(adata
36720编辑于 2024-10-16- 来自专栏气象杂货铺
xarray系列 | 基于xarray和dask并行写多个netCDF文件
之前也介绍过另一种文件格式 Zarr真的能替代NetCDF4和HDF5吗，在文件并行写和增量写方面非常友好，尤其是涉及到大文件时。 目前新版本的netCDF库也逐渐支持zarr格式，但还没测试过效果如何。如果不是一定要netCDF格式的话，可以尝试使用zarr格式。 后话：虽然本文使用了dask，但是涉及到dask的内容比较少。
3.8K11编辑于 2022-09-23 - 来自专栏机器之心
存储和操作n维数据的难题，谷歌用一个开源软件库解决了
TensorStore 的主要功能包括： 提供统一的 API 用于读写多种数组格式，包括 zarr 和 N5； 原生支持多种存储系统，包括谷歌云存储、本地和网络文件系统、HTTP 服务器和内存存储； 支持读 下面的代码演示了如何使用 TensorStore 创建一个 zarr 数组，以及 TensorStore 的异步 API 如何实现更高的吞吐量： 安全和性能扩展 众所周知，分析和处理大型数据集需要大量的计算资源 事实上，在谷歌数据中心内的测试中，他们发现随着 CPU 数量的增加，TensorStore 读写性能几乎呈线性增长： 在谷歌云存储 (GCS) 上对 zarr 格式数据集的读写性能，读和写性能与计算任务的数量几乎成线性增长 TensorStore 将 Checkpoint 转换为 zarr 格式存储，并选择块结构以允许每个 TPU 的分区并行独立地读取和写入。 当保存 checkpoint 时，参数以 zarr 格式写入，块网格进一步被划分，以用于在 TPU 上划分参数网格。主机为分配给该主机的 TPU 的每个分区并行写入 zarr 块。
1.3K20编辑于 2022-09-26 - 来自专栏气象杂货铺
xarray系列｜数据处理和分析小技巧
可以先测试单文件读取看是否正常； xr.save_mfdataset 可以进行nc文件的批量写入操作，但是使用时需要注意，后面单独推一下批量写nc文件； 如果不是必须要用nc和grib等格式的话，可以尝试一下 zarr 格式，在文件的读取方面非常方便，而且效率要更高，可以实现文件的并行读写和增量写操作； 注意：目前没有类似 xr.open_mfdataset 的函数批量读取 zarr 格式文件，如果读取两个不同的 zarr 格式文件，想要合并时，可能会出现 chunk 不一致的问题，这时候可以通过 .chunk 方法重新设置 chunk 大小进行合并，比如： zarr3 = (xr.concat([zarr1, zarr2
3.4K30编辑于 2022-09-23 - 来自专栏数据科学（冷冻工厂）
空间转录组：数据格式介绍
.zarr .zarr 存储库可以将 N 维数组以“块”的网格形式进行存储，方便实现并行访问。 R 与 .zarr 的接口可以通过 Bioconductor 上的 Rarr 或 CRAN 上的 pizzarr 来实现。 VoltRon 本身也是一个端到端的空间组学分析软件包，并且支持使用 .zarr 和 .h5 支持的 DelayedArray 对象进行空间解析数据集的磁盘表示。 本质上，该容器依赖于 5 种类型的元素（图像、标签、形状、点和表格），这些元素在磁盘上使用标准化的、符合 OME - NGFF 规范的文件格式表示（.zarr 用于图像、标签和表格；.parquet 用于形状和多边形
73410编辑于 2025-06-11 - 来自专栏生信菜鸟团
R tips：使用ggplot2绘制空间坐标图
analysis analysis.zarr.zip analysis_summary.html aux_outputs cell_boundaries.csv.gz cell_boundaries.parquet cell_feature_matrix cell_feature_matrix.h5 cell_feature_matrix.zarr.zip cells.csv cells.parquet cells.zarr.zip experiment.xenium gene_panel.json metrics_summary.csv morphology.ome.tif nucleus_boundaries.csv.gz nucleus_boundaries.parquet transcripts.csv.gz transcripts.parquet transcripts.zarr.zip
59810编辑于 2024-12-09 - 来自专栏生信菜鸟团
基于Python的Xenium空转分析流程
preview-data-ffpe-human-lung-cancer-with-xenium-multimodal-cell-segmentation-1-standard）提取到名为Xenium的目录后，我们指定数据集的路径以及我们想要存储Zarr /Xenium/" zarr_path = ". /Xenium.zarr" #读得比较慢 sdata = xenium(xenium_path) sdata.write(zarr_path) ## 读入数据，sd.read_zarr读得比较快 sdata = sd.read_zarr(zarr_path) sdata adata = sdata.tables["table"] adata #AnnData object with n_obs × n_vars
1.5K00编辑于 2025-01-11 - 来自专栏生信菜鸟团
空间组学 | NatMethods | SpatialData: 一个开放和通用的空间组学数据框架
该格式基于五个基本元素（SpatialElements），这些元素以符合 OME-NGFF 标准的方式序列化到 Zarr 存储中。 数据集集合可以存储在单个 Zarr 存储中，并且表示为一个 SpatialData 对象。 在内部，Dask的惰性加载和Zarr的多尺度表示使得即使在像标准笔记本电脑这样的低内存设备上也能高效地探索和缩放数据集。 Bioconductor 社区正在进行一些工作，以实现直接从 Zarr 加载 anndata 表格到 R，例如 anndataR，这将使得完成时无需导出为 .h5ad（HDF5 格式）。 Data availability Para_01 我们使用SpatialData包将几个示例数据集转换为Zarr。
76800编辑于 2025-02-03 - 来自专栏PyVision
自动驾驶运动预测
获取帧和代理的信息只需简单的运行下面这段代码: zarr_dt = ChunkedDataset("PATH") zarr_dt.open() for frame in zarr_dt.frames: print(frame["ego_translation"], frame["ego_rotation"]) for agent in zarr_dt.agents: print(agent CONFIG PATH") rast = build_rasterizer(cfg, LocalDataManager("DATASET PATH")) dataset = AgentDataset(cfg, zarr_dt
1.6K21发布于 2021-03-30 - 来自专栏编程教程
Python解析NC格式文件全攻略：从基础到实战
存储格式转换对于需要长期存储的数据，建议转换为Zarr格式：ds.to_zarr('optimized_data.zarr')Zarr格式支持：压缩存储（节省60%空间）并行读写云存储兼容七、常见问题解决方案 未来发展趋势包括：AI融合：将NC数据直接输入深度学习模型（如CNN处理空间数据，LSTM处理时间序列）云原生支持：Zarr格式与Dask的组合实现云端弹性计算实时处理：结合Apache Beam构建流式处理管道掌握
1.1K10编辑于 2025-11-26 - 来自专栏全栈程序员必看
javascript 之 prototype与__proto__
__proto__ === 其构造函数.prototype么， 答案是否定的，我们来看以下例子： let obj = {name: 'zarr'}; let sonObj = Object.create (obj); console.log(sonObj.name); //=>zarr console.log(sonObj.
40110编辑于 2022-07-20 - 来自专栏生信菜鸟团
Vitessce: 多模态和空间分辨单细胞数据的综合可视化
这些矩阵可以存储在多种基于 Zarr 的文件格式中，特别是在使用 AnnData19,32、MuData21 和 SpatialData9 时。 Zarr 支持分块（‘分块’）和压缩的多维数组，这些数组可以作为称为‘存储’的静态文件目录来提供。 在高延迟云存储场景中，Zarr 的性能比 HDF5 高出一个数量级。 Para_03 Zarr 块策略可以配置以优化特定用例。 我们还在补充图 7 中比较了 Zarr 和基于 CSV 的 AnnData 对象的完整大小。 某些文件类型接受选项，这些选项指定了内部文件组织的细节以启用查找（例如，通过指定相对路径来加载 Zarr 存储中的特定数组）。
73710编辑于 2025-02-20 代码更新--高精度空间（Xenium、CosMx）细胞外基因表达的数据分析
spatialdata as sdimport troutpy as tpimport scanpy as scimport numpy as np###Xenium数据sdata=sd.read_zarr /data.zarr') #please modify the path to your conveniece###Processing cellular information & cell type /data_filt.zarr')生活很好，有你更好
22220编辑于 2025-12-15- 来自专栏人工智能应用
用Python解锁图像处理之力：从基础到智能应用的深度探索
dask.distributed import Client client = Client(n_workers=8) # 启动集群 # 创建分块图像数据集 image_chunks = da.from_zarr ('large_image.zarr', chunks=(1024, 1024)) # 并行处理函数 def process_block(block): return cv2.GaussianBlur
44210编辑于 2025-08-01
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号