- 综合排序
- 最热优先
- 最新优先
- 来自专栏全栈程序员必看
MNIST数据集 & CIFAR10数据集
MNIST数据集 MNIST数据集是分类任务中最简单、最常用的数据集。 人为的手写了0-9数字的图片 MNIST大概有7w张 MNIST数据值都是灰度图，所以图像的通道数只有一个 因为MNIST数据集是专门为深度学习来的，所以其数据集格式和我们常见的很不一样 ，但是在Pytorch/Tensorflow中有函数可以很容易的读取，如果用普通Python来读取则不是那么容易 CIFAR10数据集 http://www.cs.toronto.edu/~ kriz/cifar.html CIFAR10数据集比MNIST要复杂一些. CIFAR10是真实数据集，MNIST是人为构建的 CIFAR10是32*32的 有CIFAR-10和CIFAR-100 CIFAR-10图片的10种类别，每一类大概有6000张 一共6w
96610编辑于 2022-09-10 - 来自专栏气象学家
高质量数据集 | CMA-RA V1.5：10公里分辨率全球大气再分析数据集
CMA-RA V1.5：10公里分辨率全球大气再分析数据集 推荐单位：中国气象局 申报单位：国家气象信息中心 一、背景 为打破我国气象业务对欧美再分析产品的依赖，解决高分辨率、高频次气象数据供给不足问题 这一数据集的构建，能有效提升我国气象数据保障能力与国际影响力，为气象核心业务提供坚实数据支撑，同时为 AI 预报模型训练奠定高质量数据基础。 10公里分辨率全球再分析数据集赋能AI气象预报模型 二、方案和成效 一是锚定高质量气象数据集研制目标，实现国外AI预报模型训练数据集的国产替代。 基于国际先进的资料同化技术，构建全球45年长度10km分辨率逐小时的大气再分析产品，目标是使产品质量达到国际主流再分析水平，从而实现对国外AI预报模型训练数据集的国产替代，为气象领域的AI发展提供可靠的基础数据支撑 10天，成功实现对国外再分析数据集的国产替代；此外，还支撑了三维立体预报等国家级业务的开展。
18410编辑于 2026-03-25 - 来自专栏深度学习自然语言处理
【干货】如何打造高质量的NLP数据集
阅读大概需要21分钟 来自：夕小瑶的卖萌屋 今天发烧睡了一天T^T，刷了刷知乎，刷到了这个问题 知乎：如何打造高质量的机器学习数据集？ ，超级费时费脑子甚至费钱好不好(╯°□°）╯︵┻━┻ 虽然并没有刻意的研究数据集该怎么做，不过因为项目或研究需要，已经被赶鸭子上架的做了近10个数据集了，不过只是在问答、对话和一些分类问题上做过，所以像私信箱里 ，尽早构造数据集迭代闭环 关于复杂NLP任务 什么是高质量 刚入坑的一些小伙伴可能会以为“高质量”=“超级干净”，于是为了追求“高质量”而疯狂的预处理，最后哭了╮(╯▽╰)╭。 这应该是做一个高质量数据集前首先要考虑的问题。 ]）这三种协同构造任务型对话数据集的方式总结的很到位，会让你感受到产出一个高质量的任务完成型对话数据集是一个很有挑战的工作，自己从头摸索的话可能到头来只会收获一脸懵逼╮(￣▽￣””)╭ 所以面对一些比较复杂的
1.9K10发布于 2019-08-19 - 来自专栏全栈程序员必看
kitti数据集介绍_cifar10数据集下载
KITTI数据集下载及解析 W.P. calib文件 2.4 label文件 3 KITTI可视化 KITTI Dataset 1 简介 KITTI数据集由德国卡尔斯鲁厄理工学院和丰田美国技术研究院联合创办，是目前国际上最大的自动驾驶场景下的计算机视觉算法评测数据集 3D目标检测数据集由7481个训练图像和7518个测试图像以及相应的点云数据组成，包括总共80256个标记对象。 KITTI数据集下载官网 （不想爬梯子的朋友可移步我的CSDN博客：KITTI数据集下载（百度云）） 3D Object Detection经典论文整理【分类/下载/代码/笔记】 基于OpenPCDet 第16列（浮点数）：检测的置信度（score） 要特别注意的是，这个数据只在测试集的数据中有（待确认）。
1.9K20编辑于 2022-11-07 - 来自专栏一英里广度一英寸深度的学习
深度学习入门数据集--1.Cifar10数据集
前一段时间写了系列的机器学习入门，本期打算写深度学习入门数据集，第一个入手的是Cifar-10。Cifar-10数据集主要用来做图像识别。 这个数据集包含图像和标签，图像信息由32*32像素大小组成，标签包含10个类别（飞机、汽车、鸟、猫、鹿、狗、青蛙、马、船、卡车）。 这个数据集的目的是，用这些标注好的数据训练深度学习模型，使模型能够识别图片中的目标。比如，我们可以通过这个神经网络识别猫vs狗。 一、数据集 官网地址 官网上提供多种格式数据集，我们选bin。 CIFA-10 前25条数据 相关代码： import numpy as np from scipy.misc import imsave import matplotlib.pyplot cifar10_train.py，如果数据集没有下载，那么要重新下载数据集，运行结果如下： Filling queue with 20000 CIFAR images before starting
2.8K20发布于 2019-03-14 - 来自专栏Python编程 pyqt matplotlib
CIFAR-10 数据集介绍
CIFAR-10和CIFAR-100是带有标签的数据集，都出自于规模更大的一个数据集，它有八千万张小图片（http://groups.csail.mit.edu/vision/TinyImages/）。 CIFAR-10和CIFAR-100的共同主页是：http://www.cs.toronto.edu/~kriz/cifar.html CIFAR-10数据集共有60000张彩色图像，这些图像是32*32 下面这幅图就是列举了这10个分类，每一类展示了随机的10张图片： ? 该数据集有有如下三种版本： ? python版本下载并解压后包含以下文件： ? 其中的html文件是数据集的官网网页。 下面的代码可以将CIFAR-10 数据集解析到Numpy数组 import numpy as np from matplotlib import pyplot as plt import os def "batches.meta")) names = label_names[b'label_names']#分类结果字节字符串 if __name__ == "__main__": #测试数据集是否加载成功
7.3K00发布于 2019-12-10 - 来自专栏机器学习实践二三事
转换Cifar10数据集
Cifar10数据集不讲了吧，入门必备，下载地址: https://www.cs.toronto.edu/~kriz/cifar.html 官方提供三种形式的下载: 可以看出是不提供图片形式的下载的 ，需要进行数据转换，虽然可以直接读成ndarray，但是对于初学者可能读图更直观点 自己写了个转换程序(将bytes形式的文件转换为图片并分类存储): def recover_cifar10(cifar10 _dir): """Save cifar 10 data(only training data) to files. Args: cifar10_dir: cifar 10 dataset path(python version). /data/cifar10' def save_batch(path): with open(path, 'rb') as fo: batch_data
1.9K60发布于 2018-01-02 - 来自专栏全栈程序员必看
转换Cifar10数据集
Cifar10数据集不讲了吧，入门必备，下载地址: https://www.cs.toronto.edu/~kriz/cifar.html 官方提供三种形式的下载: 可以看出是不提供图片形式的下载的 ，需要进行数据转换，虽然可以直接读成ndarray，但是对于初学者可能读图更直观点 自己写了个转换程序(将bytes形式的文件转换为图片并分类存储): def recover_cifar10(cifar10 _dir): """Save cifar 10 data(only training data) to files. Args: cifar10_dir: cifar 10 dataset path(python version). Returns: """ save_dir = '. /data/cifar10' def save_batch(path): with open(path, 'rb') as fo: batch_data
48920编辑于 2022-06-25 - 来自专栏GEE数据专栏，GEE学习专栏，GEE错误集等专栏
AI Earth数据集——中国10米地物分类数据集(AIEC)
AIEarth中国10米地物分类数据集(AIEC) 简介与Notebook示例¶ 达摩院AI Earth团队自研的中国区10m分辨率地物分类产品，数据包含2020-2022年中国逐年土地覆盖信息。 AI EarthSentinel地物分类中国年度产品 AI Earth中国10米地物分类数据集(AIEC)是一个用于地物分类的数据集。 该数据集包含了中国范围内的高分辨率遥感影像，并对影像中的地物进行分类。前言 – 人工智能教程 AIEC数据集的分辨率为10米，覆盖了中国的各个地区。 AIEC数据集是由人工智能技术自动进行地物分类得到的，具有较高的准确性和可靠性。数据集可以用于训练和评估地物分类模型，以提高地物分类的精度和效果。 并做好数据集引用说明。
1.8K00编辑于 2024-05-24 - 来自专栏大数据文摘
资源 | 机器学习高质量数据集大合辑
大数据文摘出品 编译：蒋宝尚 在机器学习中，寻找数据集也是非常重要的一步。质量高或者相关性高的数据集对模型的训练是非常有帮助的。 那么用于机器学习的开放数据集有哪些呢？ 文摘菌给大家推荐一份高质量的数据集，这些数据集或者涵盖范围广泛（比如 Kaggle），或者非常细化（比如自动驾驶汽车的数据）。 首先，在搜索数据集时，在卡内基·梅隆大学有以下说法： 数据集不应混乱，因为你不希望花费大量时间清理数据。 数据集不应该有太多行或列，因此很容易使用。 数据越干净越好 —— 清洗大型数据集相当耗时。 里面有超过 1,100 多个小时驾驶体验的视频，包含10 万个在一天中不同时段以及在不同天气条件下的数据。 https://archive.org/details/comma-dataset 城市景观数据集：记录50个不同城市的城市街道场景的大型数据集。
95940发布于 2018-11-23 高质量数据集≠数据治理，别再花冤枉钱了
最近和几位企业数据负责人聊天，发现一个特别普遍的现象：很多公司听说要上AI，赶紧找供应商咨询"高质量数据集怎么建"。结果对方一看企业现状，直接劝退："你们连数据治理都没做好，谈什么数据集？ 高质量数据集：这是个"专用产品"高质量数据集是专门为AI模型训练设计的结构化数据产品。它不是简单的"干净数据"，而是针对特定应用场景、经过系统化处理的"燃料"。 高质量数据集的特征：场景牵引（为某个具体的AI应用服务）高质量标注（数据打好了标签，模型才能学习）结构化格式（训练集、验证集、测试集分好了）数据增强（可能包含合成数据、增强数据）丰富元数据（记录数据来源 第三阶段：按需构建高质量数据集（解决"模型能不能训"）只有在前两个阶段打好基础后，才适合针对特定AI场景建设数据集。这个阶段的核心目标是为AI模型训练提供高质量、可用的数据燃料。 我一直坚持一个观点：数据质量是企业的核心竞争力。而搞清楚数据治理、高质量的数据、高质量数据集的关系，是少走弯路、少花冤枉钱的关键。
38311编辑于 2026-02-05- 来自专栏磐创AI技术团队的专栏
资源 | 机器学习高质量数据集大合辑
编译：蒋宝尚 转载自：大数据文摘，未经允许不得二次转载 在机器学习中，寻找数据集也是非常重要的一步。质量高或者相关性高的数据集对模型的训练是非常有帮助的。 那么用于机器学习的开放数据集有哪些呢？ 文摘菌给大家推荐一份高质量的数据集，这些数据集或者涵盖范围广泛（比如 Kaggle），或者非常细化（比如自动驾驶汽车的数据）。 首先，在搜索数据集时，在卡内基·梅隆大学有以下说法： 数据集不应混乱，因为你不希望花费大量时间清理数据。 数据集不应该有太多行或列，因此很容易使用。 数据越干净越好 —— 清洗大型数据集相当耗时。 里面有超过 1,100 多个小时驾驶体验的视频，包含10 万个在一天中不同时段以及在不同天气条件下的数据。 https://archive.org/details/comma-dataset 城市景观数据集：记录50个不同城市的城市街道场景的大型数据集。
96740发布于 2018-11-23 - 来自专栏人工智能与演化计算成长与进阶
Tensorflow 读取 CIFAR-10 数据集
参考文献Tensorflow 官方文档[1] > tf.transpose 函数解析[2] > tf.slice 函数解析[3] > CIFAR10/CIFAR100 数据集介绍[4] > tf.train.shuffle_batch 并将其转化为int32型数据。 这和此数据集存储图片信息的格式相关。 # CIFAR-10数据集中 """第一个字节是第一个图像的标签，它是一个0-9范围内的数字。 从阅读器中构造CIFAR图片管道 def input_pipeline(batch_size, train_logical=False): # train_logical标志用于区分读取训练和测试数据集 /CIFAR100数据集介绍: http://blog.csdn.net/u013555719/article/details/79343353 [5]tf.train.shuffle_batch函数解析
1.4K10发布于 2020-08-14 - 来自专栏全栈程序员必看
pytorch下载CIFAR10数据集
torch.utils.data import DataLoader def main(): batchsz = 32 cifar_train = datasets.CIFAR10 cifar_train = DataLoader(cifar_train,batch_size=batchse,shuffle=True) cifar_test = datasets.CIFAR10
1.1K30编辑于 2022-06-25 - 来自专栏全栈程序员必看
TensorFlow加载cifar10数据集
加载cifar10数据集 cifar10_dir = 'C:/Users/1/.keras/datasets/cifar-10-batches-py' (train_images, train_labels ), (test_images, test_labels) = load_data(cifar10_dir) 注意：在官网下好cifar10数据集后将其解压成下面形式 load_local_cifar10 data.reshape(data.shape[0], 3, 32, 32) return data, labels def load_data(ROOT): """Loads CIFAR10 # Returns Tuple of Numpy arrays: `(x_train, y_train), (x_test, y_test)`. """ # dirname = 'cifar-10 -batches-py' # origin = 'https://www.cs.toronto.edu/~kriz/cifar-10-python.tar.gz' # path = get_file
1.3K20编辑于 2022-06-25 - 来自专栏全栈程序员必看
加载本地cifar10 数据集
由于我们使用官方的导入cifar10数据集方法不成功，在知道cifar10数据集的本地路径的情况下，可以通过以下方法进行导入： import tensorflow as tf import numpy load_CIFAR_batch(os.path.join(ROOT, 'test_batch')) return Xtr, Ytr, Xte, Yte def get_CIFAR10 _data(num_training=49000, num_validation=1000, num_test=10000): # Load the raw CIFAR-10 data cifar10_dir = '.. /input/cifar-10-batches-py/' X_train, y_train, X_test, y_test = load_CIFAR10(cifar10_dir) #
1K20编辑于 2022-06-25 - 来自专栏全栈程序员必看
CIFAR-10 数据集「建议收藏」
CIFAR-10 数据集简介 CIFAR-10 是由 Hinton 的学生 Alex Krizhevsky 和 Ilya Sutskever 整理的一个用于识别普适物体的小型数据集。 图片的尺寸为 32×32 ，数据集中一共有 50000 张训练圄片和 10000 张测试图片。 CIFAR-10 的图片样例如图所示。 下面这幅图就是列举了10各类，每一类展示了随机的10张图片： 与 MNIST 数据集中目比， CIFAR-10 具有以下不同点： • CIFAR-10 是 3 通道的彩色 RGB 图像，而 MNIST 直接的线性模型如 Softmax 在 CIFAR-10 上表现得很差。 数据集下载 官方下载地址：（很慢） （共有三个版本：python,matlab,binary version 适用于C语言） http://www.cs.toronto.edu/~kriz/cifar
2.9K20编辑于 2022-08-03 从0开始全面认识高质量数据集建设（3）
“潜在高质量数据集”，并厘清各部门在其中扮演的供给方与需求方角色，明确权责关系。 第五步：形成高质量数据集清单完成以上步骤后，根据数据的具备条件、需求频度，形成最终可以产出的高质量数据集清单。 数据规划环节该环节主要目标是完成高质量数据集的编目化及内容设计，基于筛选确认的高质量数据集清单，对每个数据进行分类分级、数据特征、标签、元数据、样例数据整理，编制数据集内容规范《高质量数据集目录建设标准 这里可以参考从0开始全面认识高质量数据集建设（1）中提到的建设指南和政策依据，规范包括：高质量数据集内容框架高质量数据集分类体系高质量数据集编目要求然后重点来了，针对于上述的高质量数据集清单，我们其实是可以进一步拆分分类的 ，比如说按照从0开始全面认识高质量数据集建设（1）中提到的可以拆分为通识类数据集、行业通识类数据集、行业专识类数据集，但是一般而言，内部建设智能体场景时，只有行业通识类数据集和行业专识类数据集。
83421编辑于 2026-02-16从0开始全面认识高质量数据集建设（4）
引言上一篇中，我们了解了高质量数据集建设流程中至关重要的“需求调研”与“数据规划”两大环节，掌握了从现状摸底、场景拆解到供需确认的五步调研法，成功输出了高质量数据集清单；还深入学习了如何通过基本信息编目 、内容结构设计及生产加工要求的明确，为数据集制定出详尽的《目录建设标准》。 数据工程实施环节这一环节是将抽象的数据集清单转化为可直接支撑 AI 模型训练与业务应用的高质量数据资产的关键，重点涵盖数据采集、数据预处理、数据标注三大核心模块，通过全链路的工程化能力，确保数据从源头到交付的每一步都可控 、可追溯、高质量。 标注数据生成入库：已标注数据集沉淀为数据资产，可直接用于模型开发、训练、推理等环节，同时支持标注数据集导出到本地，满足灵活的应用需求。
71321编辑于 2026-02-17从0开始全面认识高质量数据集建设（5）
引言上一篇中，我们了解了数据工程实施环节的核心全流程，深入掌握了如何通过多样化的采集手段打破数据孤岛，利用智能化的预处理插件清洗多源异构数据，以及通过端到端的标注体系将原始样本转化为高质量的监督学习数据 数据集编目上架数据集编目上架是将经过采集、预处理、标注等环节产出的高质量数据资产，进行标准化 “身份登记” 并纳入统一管理的关键环节。 管理信息（来处与去处）来源系统公安警情系统、消防接处警系统、120急救调度系统、应急管理局综合平台管理单位城市指挥中心数据管理科业务管理标签应急指挥、多部门融合、核心业务质量检测符合情况符合《城市指挥中心高质量数据集目录建设标准 本环节以《高质量数据集 质量评测规范（征求意见稿）》为指导，从说明文档维度、数据质量维度、模型应用维度三大核心维度，对数据集进行全面体检，确保其满足 AI 模型开发、训练及业务场景的核心要求。 在《高质量数据集 质量评测规范（ 征求意见稿） 》中，规范了以下三大检测维度：说明文档维度：要求数据集的说明文档完整，需包含基本信息、内容特征、建设过程及应用说明等内容。
48310编辑于 2026-02-19
腾讯云开发者
Copyright © 2013 - 2026 Tencent Cloud. All Rights Reserved. 腾讯云 版权所有
深圳市腾讯计算机系统有限公司 ICP备案/许可证号：粤B2-20090059 
粤公网安备44030502008569号
腾讯云计算（北京）有限责任公司 京ICP证150476号 | 京ICP备11018762号