- 综合排序
- 最热优先
- 最新优先
- 来自专栏Y大宽
RNA-seq(2)-2:下载数据
这节按生信技能树的要求进行数据下载，同时下载一组肝癌数据。 1.0 论坛作业数据下载 首先，按照这个方法可以去查找文章和数据。 ;done 备注：下载总共大概6h。 1.00下载自己的数据 首先在https://www.ncbi.nlm.nih.gov/sra，输入liver cancer，下载个较小的肝癌数据。 term=SRP007560 （这个过程我是反着来的，现在SRA找到合适的数据，然后再下载文章） 具体信息见这里和这里 需要下载的四个数据为SRR316212 -215 同样，代码为 for (( i=2;i<=5;i++));do ascp -QT -v -i ~/.aspera/connect/etc/asperaweb_id_dsa.openssh -k 1 -T -l200m anonftp
1.1K40发布于 2018-09-10 - 来自专栏生信课程note＋实验知识
TCGA分析-数据下载2
是TCGA分析-数据整理-2的上一步https://cloud.tencent.com/developer/article/2353514title: "xiaohe"output: html_documentdate : "2023-11-01"R Markdown### 小何开始运行#1.数据下载 #从Gene Expression Omnibus (GEO)数据库下载数据library(GEOquery)proj #2.提取表达矩阵#clinical<- pData(eSet)#具体来说，pData()函数是从eSet中提取“数据”部分,即提取临床信息。 do.call(cbind,re)class(re2)## [1] "data.frame"exp=as.matrix(re2)#strsplit(fs, "_", simplify=T) 是将字符串 #2，函数会应用于矩阵的每一行（即，纵向）。
72720编辑于 2023-11-01 - 来自专栏二猫の家
GEE下载Sentinel-2A数据
Map.centerObject(table,7); //这里可调整加载时影像的显示大小 Map.addLayer(table) function maskS2clouds(image) { var ); return image.updateMask(mask).divide(10000); } var dataset = ee.ImageCollection('COPERNICUS/S2_ .filter(ee.Filter.lt('CLOUDY_PIXEL_PERCENTAGE', 10)) .map(maskS2clouds ) .select(['B4', 'B3', 'B2']); //镶嵌裁剪函数，减少之后的工作量 var mosaic = exportdataset.mosaic( formatOptions: { cloudOptimized: true } }); 运行代码时仅需将shp导入，然后修改你所需的时间和波段，点击运行即可，最后下载后的影像是已经过
94310编辑于 2023-10-16 - 来自专栏生物信息云
TCGA数据库：miRNA数据下载与整理(2)
我前面有一篇介绍TCGA数据库中miRNA数据的下载与整理的文章【TCGA数据库：miRNA数据下载与整理】，在这篇文章中，我们下载的数据是 miRNA Expression Quantification 下载后的数据，我们打开单个文件看一下，比miRNA Expression Quantification数据多了2列。在miRNA_region列中就有是否成熟的信息。 <- tempPath[length(tempPath)] filesNameToBarcode[filename,2] ? 【TCGAbiolinks包下载TCGA数据进行表达差异分析-乳腺癌案例】，但是现在这个包下载数据是真的感人，完全看GDC的心情，而且下载很慢，所以我是自己下载数据处理，我也发了自己下载提取数据进行差异分析的文章 如果你想偷懒，那么你可以在一些数据库中直接下载，比如：GDAC Firehose数据库，以及UCSC数据库【UCSC数据库下载TCGA数据需要注意的细节】，但从UCSC下载的数据和我们前面处理的一样，是
7.2K11发布于 2021-03-16 - 来自专栏分析工具
数据下载工具-aria2c学习
aria2aria2 是一个用于下载文件的工具。它支持的协议包括 HTTP(S)、FTP、SFTP、BitTorrent 和 Metalink。 aria2可以从多个来源和协议同时下载同一个文件，也可以同时下载多个文件，线程数最大是16，最大限度地利用你的下载带宽。 它支持同时从 HTTP(S)/FTP/SFTP 和 BitTorrent 下载文件，并将通过 HTTP(S)/FTP/SFTP 下载的数据上传到 BitTorrent 网络中。 借助 Metalink 的分块校验功能，aria2 可以像 BitTorrent 一样在下载过程中自动校验每个数据块的完整性。 aria2的一些参数（借助大模型整理）aria2c使用1.环境激活及安装# 激活环境conda activate scRNA# 安装conda install aria2c2.ftp文件下载测试数据集：
99510编辑于 2025-05-15 - 来自专栏祥子的故事
TCGA数据下载：R包TCGA2STAT介绍
上期介绍了若干种获取TCGA数据的方法，今天这期会落点于TCGA2STAT这个R包的介绍上，一步步的来说明下载方法，哪些数据是可以下载到的。 R包的下载 install.packages("TCGA2STAT") 选择如何的镜像，咱们在中国，就选择china，这样的话下载速度会很快，也容易安装R包成功。 可下载的数据 1、 RNASeq ，默认是count类型，是指下载raw read counts数据。 2、RNASeq2，是指来自the second pipeline的RNASeq基因数据。 这个包下载数据效果太差，不稳定，时常没法下载完就中断了，及其不稳定。
1.2K20发布于 2019-02-18 - 来自专栏向治洪
android多线程下载2
在上一集中,我们简单介绍了如何创建多任务下载,但那种还不能拿来实用,这一集我们重点通过代码为大家展示如何创建多线程断点续传下载,这在实际项目中很常用. main.xml: <? -- SDCard写数据的权限 --> <uses-permission android:name="android.permission.WRITE_EXTERNAL_STORAGE"/> */ private DBHelper dbHelper; /* 要下载的文件大小 */ public int fileSize; /* 每条线程需要下载的数据量 */ private */ public boolean isPause; /* 线程数 */ private MultiThreadDownload[] threads; /* 各线程已经下载的数据量 doOut.setLength(fileSize); doOut.close(); conn.disconnect(); // 计算每条线程需要下载的数据长度
1K90发布于 2018-01-26 - 来自专栏FreeBuf
2亿Twitter用户的数据被公开，仅需2美元即可下载
近日，一个包含超过2亿Twitter用户数据的文件在一个流行的黑客论坛上发布，价格约为2美元即可下载。目前，已经证实了泄露中列出的诸多用户数据的真实性。 另一个据称包含1700万用户数据的数据集也在11月私下流转。 最近，一个攻击者开始出售一个数据集，他们声称该数据集包含4亿份Twitter资料。 2亿Twitter用户资料被公开 今天，一名攻击者在Breached黑客论坛上发布了一个由2亿条Twitter用户资料组成的数据集，仅需要该论坛的8个货币价值约2美元，即可下载。 据称，这个数据集与11月流传的4亿个数据集相同，但经过清理，去掉重复的数据，总数减少到约2亿条。这些数据是以RAR档案的形式发布的，包括六个文本文件，总大小为59GB的数据。 判断个人信息是否在这个数据集中，高度取决于你的电子邮件地址是否在以前的数据泄露中被曝光。 BleepingComputer工作人员第一时间就这一泄露的数据联系了Twitter，但目前并没有得到回复。
79740编辑于 2023-02-10 - 来自专栏GIS与遥感开发平台
数据下载 | MODIS数据另类下载方式
MODIS是一种我们常用的遥感数据。由于MODIS的重访周期比较短（1-2天），所以就可以利用MODIS合成多天无云的产品。 我们今天介绍的这个网址就可以直接下载我们自己研究区域的MODIS数据。 01 这个是USGS的一个下载网址，首先我们需要有一个USGS的账号，没有的同学申请一个就可以。 数据下载网址： https://lpdaac.usgs.gov/tools/appeears/ 登上网址： 我们点击中间的，‘Launch AppEEARS‘，跳转如下的如下的界面。 我们点击左上角的‘Extract', 选择‘Area Sample',也可以选择'Point Sample‘（提取点数据），我们这里以提取面数据为例。 选择‘Start a new request‘ 下面就是我们筛选数据的界面 我们需要在这个界面填入本次下载任务的名称、范围、日期，MODIS产品名称和下载格式和投影。
1.1K20编辑于 2022-04-29 - 来自专栏夜梦星尘的折腾日记
急速下载——Aria2
前言 1.1 简介 Aria2 是目前最强大的全能型下载工具，它支持 BT、磁力、HTTP、FTP 等下载协议，常用做离线下载的服务端。 增强版脚本整合了 Aria2 完美配置，在安装 Aria2 的过程中会下载这套配置方案，这套方案包含了配置文件、附加功能脚本等文件，用于实现 Aria2 功能的增强和扩展，提升 Aria2 的下载速度与使用体验 ，解决 Aria2 在使用中遇到的 BT 下载无速度、文件残留占用磁盘空间、任务丢失、重复下载等问题。 1.2 功能特性 使用 Aria2 完美配置方案 BT 下载率高、速度快 重启后不丢失任务进度、不重复下载 删除正在下载的任务自动删除未完成的文件 下载错误自动删除未完成的文件 下载完成自动删除控制文件 (.aria2后缀名文件) 下载完成自动删除种子文件(.torrent后缀名文件) 下载完成自动删除空目录 BT 下载完成自动清除垃圾文件(文件类型过滤功能) BT 下载完成自动清除小文件(文件大小过滤功能
96210编辑于 2024-08-20 - 来自专栏MeteoAI
数据下载 | NCEP再分析数据自动批量下载
NCEP再分析资料 NCEP/NCAR再分析数据集是由美国气象环境预报中心（NCEP）和美国国家大气研究中心（NCAR）联合制作的，他们采用了当今最先进的全球资料同化系统和完善的数据库。 数据介绍 数据下载自NCAR：https://rda.ucar.edu/ 需要自行注册账户，最好是edu结尾的邮箱。 NCEP的FNL资料：http://rda.ucar.edu/data/ds083.2 空间分辨率：1°×1° 时间分辨率：逐6小时 批量下载数据 import requests import datetime ) if dt >= g2: suffix = "grib2" elif dt >= g1 and dt <g2: suffix = "grib1" s = builtSession() for i in range(2): #共下载多少个时次 startdt = datetime.datetime(2021, 1, 1
3.6K41发布于 2021-07-01 - 来自专栏气象学家
数据下载 | CMIP6数据自动批量下载
CMIP6数据命名规则 总结来自于happy科研 CMIP6数据批量下载 总算到了今天的重头戏了，就是如何使用python高效便捷的下载数据。 ： acccmip6 -o S -m MIROC6 -v vas -f mon -r atmos 下载数据 下载数据的命令都以acccmip6 -o D开头，后面添加参数,具体如下： 具体使用示例如下 其他数据批量下载 网络上有很多开放的数据，比如再分析数据，台风路径数据，AQI数据，遥感影像数据，探空数据，各城市历年的温压湿风等数据。 手动下载这些数据非常繁琐耗时，幸好大部分数据可以直接通过api，ftp还有爬虫等方式进行下载。 大家可以参与讨论，说说你有什么高效获取数据的方式，也可以说说你想下载哪些数据，后面也会根据留言内容继续推出一些数据自动下载的文章。 ---- 目前已有210+位成员， 快快加入吧！
10K63发布于 2020-11-06 - 来自专栏气象杂货铺
数据下载 | CMIP6数据自动批量下载
CMIP6数据命名规则 总结来自于happy科研 CMIP6数据批量下载 总算到了今天的重头戏了，就是如何使用python高效便捷的下载数据。 ： acccmip6 -o S -m MIROC6 -v vas -f mon -r atmos 下载数据 下载数据的命令都以acccmip6 -o D开头，后面添加参数,具体如下： 具体使用示例如下 其他数据批量下载 网络上有很多开放的数据，比如再分析数据，台风路径数据，AQI数据，遥感影像数据，探空数据，各城市历年的温压湿风等数据。 手动下载这些数据非常繁琐耗时，幸好大部分数据可以直接通过api，ftp还有爬虫等方式进行下载。 大家可以参与讨论，说说你有什么高效获取数据的方式，也可以说说你想下载哪些数据，后面也会根据留言内容继续推出一些数据自动下载的文章。
4.7K61发布于 2020-11-09 - 来自专栏好奇心Log
数据下载 | NCEP再分析数据自动批量下载
NCEP再分析资料 NCEP/NCAR再分析数据集是由美国气象环境预报中心（NCEP）和美国国家大气研究中心（NCAR）联合制作的，他们采用了当今最先进的全球资料同化系统和完善的数据库。 数据介绍 数据下载自NCAR：https://rda.ucar.edu/ 需要自行注册账户，最好是edu结尾的邮箱。 NCEP的FNL资料：http://rda.ucar.edu/data/ds083.2 空间分辨率：1°×1° 时间分辨率：逐6小时 批量下载数据 import requests import datetime ) if dt >= g2: suffix = "grib2" elif dt >= g1 and dt <g2: suffix = "grib1" s = builtSession() for i in range(2): #共下载多少个时次 startdt = datetime.datetime(2021, 1, 1
6.3K20发布于 2021-05-28 - 来自专栏sci666
TCGAbiolinks数据下载
TCGAbiolinks数据下载TCGA数据 下载TCGA数据的方法有很多，但比较好用的包我认为就是TCGAbiolinks,TCGAbiolinks是一个可用于检索，下载，并准备TCGA数据用于下游分析的 TCGAbiolinks的优点在于具备一体化的下载整合，无需再使用复杂的方法对下载的单个数据重新进行整合，新手及临床医生尤其适合，我们的目的就是分析数据，没有必要去做些非必须的事。 UCSC xena 本来是一个很好的工具，但有一个问题是它存储的数据是log2(x+1) 转换的 RSEM nomalized data，关于这个数据有文章去使用，但我不确定能否直接用limma去做后续分析 笔者曾试图搞清楚这个数据究竟如何使用，发现众说纷纭，似乎UCSCxena本身也没有给出一个很清晰的答案，因此就表达谱数据而言，UCSCxena并不是最好的选择，当然也有说把log2转换的数据再转换回来的 harmonized数据库包括转录谱数据，甲基化数据，miRNA数据，但缺少芯片数据 数据检索 1query.met <- GDCquery(project = "TCGA-COAD", 2
1.5K20发布于 2019-10-30 - 来自专栏微光点亮星辰
FTP下载数据
就个人理解，先来说数据放在工程里的问题，当系统扩大后，会出现高并发压力等一系列问题，有人会用添加服务器做成初步集群以减轻服务器的压力。这时就需要考虑到数据的问题了。 问题出来了，当他访问的时候nginx是根据服务器压力来转发服务器的，而图片数据只在A服务器。那么当请求被转发到B服务器的时候，B服务器没有数据，那用户就查不到数据了。 可想而知，只要工程共享同一个存放数据的地方就可以了。 那么便可以使用FTP服务器了，FTP服务器，是在互联网上提供存储空间的计算机，具体介绍可百度了解。把它当做存放数据的地方就可以了。 因时间问题，自己本地没有安装FTP服务器，用的是公司的，所以没法做上传数据，只能演示个下载数据。不过道理相同，主要有这个思想。手打了这么多文字该上代码了。 ? ? ? ? ? 这里我下载了三个文件，前提是FTP服务器上要有这些数据！ 说了这么多，其实就想说明一下上面提出的问题以及解决，分享一下。 好了，吃饭去。。。
1.9K41发布于 2020-04-10 - 来自专栏全栈程序员必看
MODIS数据下载
内容包括数据（Data），新闻（News），科研团队活动（Science Team Meeting） 这篇博文主要说数据下载，点击Data中的链接： 打开链接后，可以看到Data的介绍： 拖到页面的最下面找到需要下载的数据 选择完毕后，点击数字2，图中有一个时间范围，范围为一个半月的时间（红色部分标识的是较之前的变化部分和需要点击的部分） 添加完时间后，点击数字3，进入位置选择部分，红色数字1可以对图进行放大和缩小，红色数字 2是如何选择数据范围（在示例中，我以选择国家的方式进行选择，选择的国家是祖国） 点击完 Countries后，地图发生变化，国家的边界线显示出来 在祖国的地图上找个位置随便点一下，点击完成后如图所示 （台湾也当然属于祖国的怀抱）： 选择位置完成后，点击数字4选择数据，点击4后，数据会加载出来 加载出来的图片如图所示，可以直接点击右侧的download直接进行下载（无需账号），点击下载之后，所有的下载过程就都完成啦 附，通过Order的方式下载，还需要点击数字5，点击数字5之前，需要先选择需要下载的文件，点击文件即可，在数字4下面会有文件的个数（红色箭头标识） 然后点击数字5： 接着点击Submit Order
1.1K10编辑于 2022-08-23 - 来自专栏夜梦星尘的折腾日记
【docker】急速下载——Aria2
1.前言 夜梦在急速下载——Aria2 这篇文章中已经讲述了如何使用脚本部署Aria2。这篇文章将使用docker部署Aria2。使用docker的小伙伴们可以看看哦！ 官方地址：P3TERX/Aria2-Pro-Docker 如果使用ARIA2进行挂机下载的话，建议使用云服务器这种可以二十四小时开机的机器，而且尽量选择大硬盘、大带宽的机器。 config:/config \ -v $PWD/aria2-downloads:/downloads \ p3terx/aria2-pro 3.2aira2WEBUI面板 可以直接使用开发者提供的 /aira2 下载配置文件 wget git.io/aria2-pro.yml 按照自己的需求编辑配置文件 vim aria2-pro.yml 启动 docker compose -f aria2-pro.yml up -d 4.2aira2WEBUI面板 可以直接使用开发者提供的WEBUI面板：AriaNg (mayswind.net) aria2 RPC 别名随便取 aria2 RPC 地址为你的IP地址
81810编辑于 2024-08-20 - 来自专栏好奇心Log
数据下载 | 探空数据自动下载&可视化基础
file=/pic/static/doc/B/B.0011.0001C/UPAR_CHN_MUL_STATION.pdf 批量下载数据 在之前的一些文章里使用过siphon，他除了可以下载到预报数据、再分析数据以外还可以下载到怀俄明的探空数据 下面为简单的示例，时间段和下载的站点可以自行设置。 （这里是UTC时刻） start = datetime.datetime(2019, 8, 1, 0) end = datetime.datetime(2019, 8, 2, 0) datelist constant T -- in this case the 0 # isotherm skew.ax.axvline(0, color='c', linestyle='--', linewidth=2) 条件不稳定 1.1 真潜在不稳定 1.2 假潜在不稳定 绝对稳定 绝对不稳定 根据分型和上面我们对北京地区探空数据的可视化，可以得出2019年8月2日北京探测到的大气属于假潜在不稳定。
6.2K24发布于 2020-12-08 - 来自专栏我爱计算机视觉
200G超大自动驾驶数据集A2D2下载
前几天52CV报道了奥迪汽车公司发布A2D2数据集： 奥迪推出大型自动驾驶数据集A2D2 该数据集是研究和商用皆可的大型自动驾驶场景数据集，关注的计算机视觉任务主要是语义分割、实例分割、3D目标检测 ，其特征： 数据类型： 即包含RGB图像，也包括对应的3D点云数据，记录的数据是时间同步的。 A2D2与其他自动驾驶数据集的比较： image.png 语义标注示例： ? 不少小伙伴感兴趣，该数据是放在网上可公开下载的，可惜国内由于网络原因难以下载，咨询CV君可否帮忙搬运，经过好几天的下载上传终于成功搬到国内百度云（不要问为什么是百度云，问就是国内只此一条路。。。） A2D2含有标注数据200G，还有2.1T的在德国三大城市Gaimersheim、Ingolstadt、Munich 采集的无监督数据。本次搬运的是有标注的部分。 ? END
1.3K20发布于 2020-05-22
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号