pytorch 實現cross entropy損失函數計算方式

發布時間: 2020-01-02 17:26:11 來源: 互聯網 欄目: python 點擊:

今天小編就為大家分享一篇pytorch 實現cross entropy損失函數計算方式,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧

均方損失函數:

這里 loss, x, y 的維度是一樣的,可以是向量或者矩陣,i 是下標。

很多的 loss 函數都有 size_average 和 reduce 兩個布爾類型的參數。因為一般損失函數都是直接計算 batch 的數據,因此返回的 loss 結果都是維度為 (batch_size, ) 的向量。

(1)如果 reduce = False,那么 size_average 參數失效,直接返回向量形式的 loss

(2)如果 reduce = True,那么 loss 返回的是標量

a)如果 size_average = True,返回 loss.mean();
b)如果 size_average = False,返回 loss.sum();

注意:默認情況下, reduce = True,size_average = True

import torch
import numpy as np

1、返回向量

loss_fn = torch.nn.MSELoss(reduce=False, size_average=False)


a=np.array([[1,2],[3,4]])
b=np.array([[2,3],[4,5]])
input = torch.autograd.Variable(torch.from_numpy(a))
target = torch.autograd.Variable(torch.from_numpy(b))

這里將Variable類型統一為float()(tensor類型也是調用xxx.float())

loss = loss_fn(input.float(), target.float())
print(loss)
tensor([[ 1., 1.],
  [ 1., 1.]])

2、返回平均值

a=np.array([[1,2],[3,4]])
b=np.array([[2,3],[4,4]])
loss_fn = torch.nn.MSELoss(reduce=True, size_average=True)
input = torch.autograd.Variable(torch.from_numpy(a))
target = torch.autograd.Variable(torch.from_numpy(b))
loss = loss_fn(input.float(), target.float())
 print(loss)
tensor(0.7500)

以上這篇pytorch 實現cross entropy損失函數計算方式就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持我們。

本文標題: pytorch 實現cross entropy損失函數計算方式
本文地址: http://www.1921352.live/jiaoben/python/296848.html

如果認為本文對您有所幫助請贊助本站

支付寶掃一掃贊助微信掃一掃贊助

  • 支付寶掃一掃贊助
  • 微信掃一掃贊助
  • 支付寶先領紅包再贊助
    聲明:凡注明"本站原創"的所有文字圖片等資料,版權均屬編程客棧所有,歡迎轉載,但務請注明出處。
    Matplotlib scatter繪制散點圖的方法實現基于MSELoss()與CrossEntropyLoss()的區別詳解
    Top 网上挖矿机赚钱