Torch数据集循环过远

文章/答案/技术大牛

发布

1回答

python、pytorch

为什么此数据集尝试迭代通过最后一个元素 from torch.utils.data.dataset import Dataset def

浏览 21提问于2019-02-12得票数 3

回答已采纳

1回答

我用手电筒训练一个虹膜分类模型，但我的acc是0.4。

python、neural-network、pytorch、model、iris-dataset

我尝试过许多改进，比如增加时代、使用更好的损失函数和优化器、深化网络和洗牌数据集等等，但仍然没有效果。这个问题困扰我很长时间了，谢谢你的帮助。下面是我的密码。加载和处理数据集(更新) train_data, test_data, train_label, test_label = train_test_splittrain_data = scaler.fit_transform(train_data) # test_data = scaler.transf

浏览 8提问于2022-08-14得票数 1

回答已采纳

1回答

ValueError:使用手电筒张量时要解压缩的值太多

python-3.x、numpy、for-loop、pytorch、enumerate

对于一个关于神经网络的项目，我正在使用Pytorch并使用EMNIST数据集。已在数据集中加载的代码： train_dataset = dsets.MNIST(root='.batch_size=batch_size, shuffle=True) 然后，当定义了网络的所有配置时，有一个for循环来训练每个时期的模型对于我的任务，我得到了一个数据集，我按如下方式加载： emnist = sc

浏览 24提问于2020-06-16得票数 2

回答已采纳

1回答

如何调整数据加载器并制作新的数据加载器？

numpy、pytorch、dataloader

假设我有一个cifar10的数据加载器我怎么发动汽车呢？download=True, transform=transform) train_loader = torch.utils.data.DataLoader

浏览 3提问于2019-12-19得票数 1

1回答

从torch.utils.data.random_split迭代子集

python、loops、pytorch

我目前正在加载一个文件夹与人工智能培训数据在其中。子文件夹表示标签名，其中包含相应的图像。使用pyTorch的ImageFolder加载器可以很好地工作。shuffle=True现在，我希望将这个数据集分割成一个训练和一个测试数据集是torch.utils.data.dataset.Subset类型的对象。如果我试图循环通过它，我得

浏览 5提问于2020-02-10得票数 5

回答已采纳

1回答

如何在数据集分发时对其进行划分

python、pytorch、distributed

现在，我想将数据集分为两部分:火车集和验证集。( sampler=torch.utils.data.sampler.SubsetRandomSampler(indices[:split]),但是当我想用torch.distributed并行地训练它时，我必须使用另一个取样器，即sampler = to

浏览 1提问于2020-05-15得票数 4

回答已采纳

1回答

如何在放电筒中增加批号

pytorch

在pytorch中，DataLoader会将数据集分割成集大小的批次，并增加洗牌等选项，然后可以循环使用这些选项。我试着分裂张量，然后把它们连接起来：originalTensor = torch.randn(1000, 80)split2=torch.split(list(split1)[0], 100, dim=0) 在此之后，是否有一种将级

浏览 1提问于2019-09-22得票数 1

回答已采纳

1回答

调用` `cublasCreate(handle)`时运行pytorch geometric CUDA错误: CUBLAS_STATUS_NOT_INITIALIZED

pytorch

colab.research.google.com/github/zaidalyafeai/Notebooks/blob/master/Deep_GCN_Spam.ipynb#scrollTo=UjoTbUQVnCz8当我将数据集更改为我自己的数据集时然后，我清除了生成数据集的所有代码。我将两个数据集保存为文件并重新加载。我真的看不出这两个数据集之间的区别。

浏览 52提问于2020-09-14得票数 0

1回答

MNIST数据集上Pytorch变换

neural-network、pytorch、dataloader

我目前有一个带有弱监督的项目，我需要在数据集前面放置一个“掩蔽”。我现在的问题是我不知道怎么做。让我用一些代码和图像来进一步解释。 root="~/torch_datasets", train=True, transform=transform, downlo

浏览 0提问于2020-05-16得票数 0

回答已采纳

1回答

将转换应用于py手电筒中的数据集，并将它们添加到数据中

python、deep-learning、pytorch、dataset、conv-neural-network

我希望使用torchvision.datasets.FashionMNIST(data_dir，train=True、download=True加载时尚-mnist(或任何其他数据集)，然后应用一些图像转换，例如裁剪或添加噪声等，最后将转换后的数据添加到原始数据集中。我找到的唯一方法是torchvision.transform，但它会更改原始数据集，并且不会增加数据集。如何增加数据集？

浏览 3提问于2022-02-02得票数 1

4回答

如何在pytorch中加载tfrecord？

pytorch、tfrecord

我下载了具有视频级功能的"Youtube8M“数据集，但它存储在tfrecord中。我试图从这些文件中读取一些样本，将其转换为numpy，然后加载到pytorch中。但它失败了。

浏览 213提问于2019-04-29得票数 4

回答已采纳

2回答

GPU内存中的放电筒

python、pytorch

然而，我似乎没有内存，只是通过网络传递数据。模型很大，如下所示。然而，我觉得我在用我的网络做一些愚蠢的事情(比如在某个地方没有释放内存)。网络按预期在cpu上工作。测试代码(内存耗尽的地方)是：model = Yolov2().cuda()问题模式：from torch import nn cl

浏览 0提问于2018-10-03得票数 2

回答已采纳

1回答

调整Pytorch张量/数据集的大小

pytorch、tensor

我有一个包含几百万行的自制数据集。我正在尝试制作截断的副本。因此，我裁剪了用于生成原始数据集的张量，并创建了一个新的数据集。但是，当我保存只有20K行的新数据集时，它在磁盘上的大小与原始数据集相同。#original dataset - 2+million rowstorch.save(dataset

浏览 2提问于2017-09-15得票数 3

2回答

如何用火把DataLoader接收两条信号(数据和标签)？

pytorch

我有一个训练数据的特点，在形状的ndarray ( 100,400，3)，因为它是100图像的20x20与RGB通道和标签的形状(100，)。我是否需要将它们合并到一个数据集中，或者如何将其传递给Pytorch dataLoader，以便在以后迭代图像和标签？

浏览 0提问于2019-09-16得票数 2

回答已采纳

1回答

如何使用txt文件创建具有DataPipe的可迭代PyTorch

python、nlp、pytorch、transformer-model、torchtext

然而，我没有使用PyTorch自己的数据集，而是使用了我从互联网上下载的东西。 source = open('.

浏览 10提问于2022-06-21得票数 0

回答已采纳

1回答

在torch中，如何用预定义的顺序分割张量？

lua、torch

我有一个10 train = torch.range(1,10)的数据集。我想将它按p = torch.randperm(10)定义的随机顺序分割。我能在不像这样操作for循环的情况下得到这个吗 print(a[{ p[i] }])哪里 p[1] = 2, p[2] = 3, p[3] = 9.

浏览 1提问于2017-04-15得票数 0

回答已采纳

1回答

有什么方法可以把'DGL.heterograph‘转换成'torch_geometric’图？

graph、pytorch-geometric、dgl

但是我需要torch_geometric中的几个模块，但它们不支持dgl图。有没有办法将dgl图更改为torch_geometric图？我的数据集是在dgl图中构建的，我将在加载数据集时将它们转换为torch_geometric图。

浏览 13提问于2022-02-12得票数 0

1回答

如何在pytorch中使用Fashion_MNIST的MSELoss函数？

python、machine-learning、neural-network、pytorch、mean-square-error

我想要通过Fashion_Mnist数据，我想看到输出梯度可能是第一层和第二层之间的均方和#import the nescessary libsimport time from torchvision import datasets, transforms# Get GPU Device device = torch.device("cuda:0" if t

浏览 28提问于2021-05-30得票数 0

回答已采纳

1回答

如何在pytorch中从MNIST构建自定义数据集

pytorch、dataset、mnist、torchvision

我将MNIST数据集导入为train_data_MNIST = torchvision.datasets.MNIST(root=path+"MNIST", train=True,transform=transforms, download=True)，并试图从MNIST生成一个较小的数据集，比如前10,000个图像和相应的标签。我知道这可以用torch.utils.data.Subset来处理。但我想要的是一个torchvision.datasets对象(如果我直接将torch

浏览 15提问于2022-09-02得票数 0

2回答

在火炬中，如何从整数标签列表中创建一个1-热张量？

indexing、torch、one-hot-encoding

我有一个整数类标签的字节张量，例如来自MNIST数据集。 7[torch.ByteTensor of size 3] 0 0 0 0 0 0 1 0 0 0[torch.DoubleTensorof size 3x10] 我知道我可以用一个循环来完成这个任务，但是我想知道是否有任何聪明的火炬索引可以让我在一个单行中

浏览 7提问于2015-08-14得票数 10

回答已采纳

点击加载更多