为什么损失函数总是在第一阶段之后返回零？

Question

为什么损失函数总是在第一个时期之后打印为零？

我怀疑这是因为loss = loss_fn(outputs, torch.max(labels, 1)[1])。

但是如果我使用loss = loss_fn(outputs, labels)，我将得到错误

RuntimeError: 0D or 1D target tensor expected, multi-target not supported

。

nepochs = 5

losses = np.zeros(nepochs)

loss_fn = nn.CrossEntropyLoss()

optimizer = optim.Adam(modell.parameters(), lr = 0.001)

for epoch in range(nepochs):

    running_loss = 0.0
    n = 0
    
    for data in train_loader:
        
        #single batch
        if(n == 1):
            break;
            
        inputs, labels = data
        
        optimizer.zero_grad()

        outputs = modell(inputs)
        
        #loss = loss_fn(outputs, labels)
        loss = loss_fn(outputs, torch.max(labels, 1)[1])
        loss.backward()
        optimizer.step()
    
        running_loss += loss.item()
        n += 1
       
    losses[epoch] = running_loss / n
    print(f"epoch: {epoch+1} loss: {losses[epoch] : .3f}")

模式是：

def __init__(self, labels=10):
    super(Classifier, self).__init__()
    self.fc = nn.Linear(3 * 64 * 64, labels)
    
def forward(self, x):
    out = x.reshape(x.size(0), -1) 
    out = self.fc (out)
    return out

有什么想法吗？

标签是这样的64个元素张量：

tensor([[7],[1],[ 2],[3],[ 2],[9],[9],[8],[9],[8],[ 1],[7],[9],[2],[ 5],[1],[3],[3],[8],[3],[7],[1],[7],[9],[8],[ 8],[3],[7],[ 5],[ 1],[7],[3],[2],[1],[ 3],[3],[2],[0],[3],[4],[0],[7],[1],[ 8],[4],[1],[ 5],[ 3],[4],[3],[ 4],[8],[4],[1],[ 9],[7],[3],[ 2],[ 6],[4],[ 8],[3],[ 7],[3]])

Answer 1

通常损失计算为loss = loss_fn(outputs, labels)，此处outputs如下所示：

_ , outputs = torch.max(model(input), 1)
or
outputs = torch.max(predictions, 1)[0]

常见的做法是修改outputs而不是labels

torch.max()返回一个名称元组(values, indices)，其中的值是给定维度dim中input张量的每行的最大值。indices是找到的每个最大值(argmax)的索引位置。

在代码片段中，labels不是标签的索引，所以在计算损失时，函数应该如下所示：

loss = loss_fn(torch.max(outputs, 1)[0], labels)