Pytorch訓練過程出現nan的解決方式

發布時間: 2020-01-02 19:25:46 來源: 互聯網 欄目: python 點擊:

今天小編就為大家分享一篇Pytorch訓練過程出現nan的解決方式,具有很好的參考價值,希望對大家有所幫助。一起跟隨小編過來看看吧

今天使用shuffleNetV2+,使用自己的數據集,遇到了loss是nan的情況,而且top1精確率出現斷崖式上升,這顯示是不正常的。

在網上查了下解決方案。我的問題是出在學習率上了。

我自己做的樣本數據集比較小,就三類,每類大概三百多張,初始學習率是0.5。后來設置為0.1就解決了。

按照解決方案上寫的。出現nan的情況還有以下幾種:

學習率太大,但是樣本數據集又很小。(我的情況)

自定義的loss除以了一個很小的數字,小到接近0。

數據不干凈,數據本身就有nan,可以用numpy.isnan檢查。

target,即label是大于等于0的。從1到類別數目-1變化。

以上這篇Pytorch訓練過程出現nan的解決方式就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持我們。

本文標題: Pytorch訓練過程出現nan的解決方式
本文地址: http://www.1921352.live/jiaoben/python/296876.html

如果認為本文對您有所幫助請贊助本站

支付寶掃一掃贊助微信掃一掃贊助

  • 支付寶掃一掃贊助
  • 微信掃一掃贊助
  • 支付寶先領紅包再贊助
    聲明:凡注明"本站原創"的所有文字圖片等資料,版權均屬編程客棧所有,歡迎轉載,但務請注明出處。
    pytorch繪制并顯示loss曲線和acc曲線,LeNet5識別圖像準確率PyTorch中topk函數的用法詳解
    Top 网上挖矿机赚钱 北京快3公交路线 十大融资炒股平台 全球股市实时行情 北京快中彩大小走势 股票各板块指数代码 安徽15选五开奖号码 河南22选五今天开奖公告 炒股行情分析软件 中国急速赛车 新能源汽车股票推荐