- 综合排序
- 最热优先
- 最新优先
- 来自专栏生信探索
基因组实战02: 软件安装和GATK数据下载
bundle/ # download all the hg38 directory mirror hg38 use google cloud 35M/s 图片 micromamba create -n gsutil micromamba activate gsutil micromamba install -y -c conda-forge python=3.4 gsutil mkdir -p ~/DataHub /Genomics/GATK cd ~/DataHub/Genomics/GATK gsutil -m cp -r \ "gs://genomics-public-data/resources/broad
1.9K10编辑于 2023-03-31 - 来自专栏张鹏宇的专栏
google cloud ：穷人也能玩深度学习
我的是us-east1 REGION=us-east1 将data文件夹上传到google cloud gsutil cp -r data gs://$BUCKET_NAME/data 设置TRAIN_DATA BUCKET_NAME/data/adult.data.csv EVAL_DATA=gs://$BUCKET_NAME/data/adult.test.csv 把test.json也上传上去并且设置临时变量 gsutil 创建临时变量 MODEL_NAME=test 创建模型 gcloud ml-engine models create $MODEL_NAME --regions=$REGION 找到对应的这个时间戳 gsutil 执行完成后可以查看预测结果 gsutil cat $OUTPUT_PATH/predictions/prediction.results-00000-of-00001 总结 google cloud
20K11发布于 2017-09-28 - 来自专栏GiantPandaCV
《YOLOv5全面解析教程》十三，downloads.py 详细解析
import oneflow as flow # 导入深度学习框架oneflow包 import requests # 通过urllib3实现自动发送HTTP/1.1请求的第三方模块 2. gsutil_getsize def gsutil_getsize(url=""): """用在downloads.py的print_mutation函数当中 计算某个url对应的文件大小 用于返回网站链接url对应文件的大小 ，注意单位是bytes gs://bucket/file size https://cloud.google.com/storage/docs/gsutil/commands/du "" " # 创建一个子进程在命令行执行 gsutil du url 命令(访问 Cloud Storage) 返回执行结果(文件) # gs://bucket/file size https ://cloud.google.com/storage/docs/gsutil/commands/du s = subprocess.check_output(f"gsutil du {url}
1.6K30编辑于 2023-01-01 - 来自专栏青年夏日
Python实现GCS bucket断点续传功能，分块上传文件
我已经编写了一个Python客户端，用于将大文件上传到GCS（它具有一些特殊功能，这就是为什么gsutil对我公司不适用的原因）。 Gsutil工具的执行效果几乎与我的Python脚本相同。我还以超过50Mbps的上传速度在不同的网络基础架构上运行了该测试，效果非常好。
1.7K20发布于 2021-05-11 - 来自专栏生信技能树
用gnomDB数据库对个人vcf变异文件进行过滤
下载最方便的就是 google的gsutil啦，但是墙内的朋友有点麻烦，而且数据量也的确是太大了。 gsutil -m cp -r gs://gnomad-public/release/2.0.2/vds/exomes/gnomad.exomes.r2.0.2.sites.vds gnomad_data # 16 GB gsutil -m cp -r gs://gnomad-public/release/2.0.2/vds/exomes/gnomad.exomes.r2.0.2.sites.split.vds
3.1K70发布于 2018-03-09 - 来自专栏机器学习算法与Python学习
如何薅羊毛 | PyTorch终于能用上谷歌云TPU，推理性能提升4倍
gsutil cp "$DIST_BUCKET/$TORCH_WHEEL" . !gsutil cp "$DIST_BUCKET/$TORCH_XLA_WHEEL" . ! gsutil cp "$DIST_BUCKET/$TORCHVISION_WHEEL" . !pip install "$TORCH_WHEEL" !
1.5K10发布于 2019-10-15 - 来自专栏机器之心
教程 | 在Cloud ML Engine的TPU上从头训练ResNet
你可以从你用于训练的 CSV 文件中得到类的列表： gsutil cat gs://cloud-ml-data/img/flower_photos/train_set.csv \ | sed 's/,/ /bin/bash export PYTHONPATH=${PYTHONPATH}:${PWD}/mymodel gsutil -m rm -rf gs://${BUCKET}/tpu/resnet/data /bin/bash echo -n "--num_train_images=$(gsutil cat gs://cloud-ml-data/img/flower_photos/train_set.csv | wc -l) " echo -n "--num_eval_images=$(gsutil cat gs://cloud-ml-data/img/flower_photos/eval_set.csv /bin/bash MODEL_NAME="flowers" MODEL_VERSION=resnet MODEL_LOCATION=$(gsutil ls gs://${BUCKET}/tpu/resnet
2.4K20发布于 2018-08-07 - 来自专栏AutoML(自动机器学习)
TPU使用说明
删除Storage 命令为:gsutil rm -r gs://Your-storage-name
<img src="https://ask.qcloudimg.com/draft/ --val_batch_size=32 3.4 fake ImageNet 其实上面AmoebaNet要在本地GPU上成功地跑起来，还需要用到tfrecord格式的数据，你可以通过使用谷歌云提供的<em>gsutil</em> <em>gsutil</em>的安装教程参考官网：https://cloud.google.com/storage/docs/<em>gsutil</em>_install? hl=zh-cn <em>gsutil</em>安装好之后，只需要运行一行代码即可把数据集下载下来： cd your_project_path mkdir dataset <em>gsutil</em> cp -r gs://cloud-tpu-test-datasets Compute Engine VM: -- Cloud TPU: -- 删除BUCKET <em>gsutil</em> rm -r gs://YOUR-BUCKET-NAME 4.3K00发布于 2019-05-26 - 来自专栏MelonTeam专栏
google cloud--穷人也能玩深度学习
我的是us-east1 REGION=us-east1 将data文件夹上传到google cloud gsutil cp -r data gs://$BUCKET_NAME/data 设置TRAIN_DATA BUCKET_NAME/data/adult.data.csv EVAL_DATA=gs://$BUCKET_NAME/data/adult.test.csv 把test.json也上传上去并且设置临时变量 gsutil 创建临时变量 MODEL_NAME=test 创建模型 gcloud ml-engine models create $MODEL_NAME --regions=$REGION 找到对应的这个时间戳 gsutil 执行完成后可以查看预测结果 gsutil cat $OUTPUT_PATH/predictions/prediction.results-00000-of-00001 ?
3.7K100发布于 2018-01-04 - 来自专栏生信菜鸟团
融合基因鉴定以及GATK寻找突变
： 之前我下载GTEx的数据库文件时用谷歌云推荐的gsutil，速度还行 下载gsutil 参考： gsutil 安装及使用（https://www.cnblogs.com/biostat-yu/p/15770784 This feature is enabled by default but requires that compiled crcmod be installed (see "gsutil help crcmod / [0 files][409.4 MiB/ 1.8 GiB] 24.2 MiB/s 需要注意这里gsutil下载必须给定输出路径 gsutil下载google buckets速度是axel 进行下载 但有时也很慢，这就具体情况具体选择方法了 需要注意的是dbsnp文件，参考语雀专栏评论区： 但是可能额因为vcf文件较大（超过10G），gsutil返回了这样的提示信息： $gsutil For help installing the extension, please see "gsutil help crcmod".
2.9K50编辑于 2023-09-08 - 来自专栏量子位
AlphaGo Zero代码迟迟不开源，TF等不及自己推了一个
export BUCKET_NAME=your_bucket; gcloud auth application-default login gsutil ls gs://minigo/models | MINIGO_MODELS=$HOME/minigo-models mkdir -p $MINIGO_MODELS gsutil ls gs://minigo/models | tail -3 | xargs -I{} gsutil cp “{}” $MINIGO_MODELS 先让Minigo自己玩 看Minigo开一局，你需要specify模型。
2.3K70发布于 2018-03-21 - 来自专栏磐创AI技术团队的专栏
AutoML – 用于构建机器学习模型的无代码解决方案
#using gsutil command we can create a bucket in cloud storage ! gsutil mb -l $REGION $BUCKET_NAME #checking if the bucket created ! gsutil ls -al $BUCKET_NAME #dataset path in gcs IMPORT_FILE = 'data.csv' gcs_path = f"{BUCKET_NAME}
2.1K20编辑于 2023-08-29 - 来自专栏ATYUN订阅号
TensorFlow：使用Cloud TPU在30分钟内训练出实时移动对象检测器
对于本教程中的许多命令，我们将使用Google Cloud gcloud CLI，并和Cloud Storage gsutil CLI一起与我们的GCS存储桶交互。 如果你没有安装它们，你可以在访问下方链接安装 gcloud：https://cloud.google.com/sdk/docs/quickstart-debian-ubuntu gsutil：https ://cloud.google.com/storage/docs/gsutil_install 运行以下命令将当前项目设置为刚创建的项目，将YOUR_PROJECT_NAME替换为项目名称： gcloud gsutil mb gs：// YOUR_UNIQUE_BUCKET_NAME 这里可能会提示你先运行gcloud auth login，之后你需要提供验证码。 将数据集上载到GCS 在本地获得TFRecord文件后，将它们复制到/data子目录下的GCS存储桶中： gsutil -m cp -r / tmp / pet_faces_tfrecord / pet_faces
5.5K50发布于 2018-07-27 - 来自专栏DeepHub IMBA
在TPU上运行PyTorch的技巧总结
还可以使用gsutil cp将文件复制回GS bucket。 gcloud auth login gsutil cp gs://bucket-name/kaggle-keys/kaggle.json ~/.kaggle chmod 600 ~/.kaggle/
3.7K10发布于 2020-11-02 - 来自专栏空间转录组数据分析
GATK的人类宿主的微生物检测流程PathSeq和在空转上的运用
建议下载最新的微生物参考文件gsutil cp gs://gcp-public-data--broad-references/hg38/v0/CrossSpeciesContamination/CrossSpeciesContaminant /或者 下载资源包中的数据，二选一gsutil cp gs://gatk-best-practices/pathseq/resources/pathseq_microbe.tar.gz .
1.2K10编辑于 2023-12-27 - 来自专栏ATYUN订阅号
OpenAI-人工反馈的深度学习
export RL_TEACHER_GCS_BUCKET="gs://rl-teacher-<YOUR_NAME>" gsutil mb $RL_TEACHER_GCS_BUCKET gsutil defacl
1.9K60发布于 2018-03-02 - 来自专栏CreateAMind
根据人类反馈进行强化学习+ 代码
this new bucket to be publicly-readable. export RL_TEACHER_GCS_BUCKET="gs://rl-teacher-<YOUR_NAME>" gsutil mb $RL_TEACHER_GCS_BUCKET gsutil defacl ch -u AllUsers:R $RL_TEACHER_GCS_BUCKET Run your agent Now we're
1.1K10发布于 2018-07-24 - 来自专栏有点技术
tekton入门-细数tekton用到的那些images
shell的二进制镜像，默认"busybox"，主要用于运行初始化脚本， 例如task中支持的script功能，就是通过运行busybox将script写入文件，达到运行的目的 gsutilImage 包含gsutil
1.5K20发布于 2020-07-16 - 来自专栏FreeBuf
使用git-wild-hunt来搜索GitHub中暴露的凭证
json path:.azure filename:accessTokens language:JSON 查找GSUtils配置： python git-wild-hunt.py -s "path:.gsutil
2.4K10发布于 2021-03-09 - 来自专栏公共互联网反网络钓鱼（APCN）
官方域名成“钓鱼温床”？Google Cloud自动化功能遭滥用，全球3000家企业中招
phish-bucket/voicemail.html">收听留言步骤3：上传钓鱼跳板页面至Google Cloud Storagegsutil mb gs://phish-bucket-2025gsutil cp voicemail.html gs://phish-bucket-2025/gsutil acl ch -u AllUsers:R gs://phish-bucket-2025/voicemail.html
27010编辑于 2026-01-05
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号