如何評價 2017 年 12 月 5 日釋出的 PyTorch 0.3.0?羅若天是真的菜2017-12-05 23:54:23

有點過了,0。3沒有什麼大的breaking的修改,等variable和tensor合併了再說吧。

(aten的工作量是很大的,但對前端來說沒什麼區別。)

個人覺得沒有0。1到0。2的步子大。但我覺得0。4 可能很快就會出。

如何評價 2017 年 12 月 5 日釋出的 PyTorch 0.3.0?餘昌黔2017-12-06 00:30:37

難道以後每個小版本也要出現“看待”問題了?

——————-正文——————-

簡單談一下,比較吸引我的幾點∶

1。

更快

。softmax和log_softmax提速4x到256x(震驚臉)。分散式的AllReduce提速2。5x到3x。還有framwork的overhead變小了

2。

Unreduced Loss

。 以前的做法是會sum整個mini batch裡的loss,現在可以選擇為每個example返回individual loss了。感覺又可以對loss hack一發了

3。

load_state_dict

可選擇是否嚴格match key。想當初load model的時候你非得嚴格match key不然就得寫一段程式碼來判斷,雖然很短,但是真的反邏輯啊。現在好了,可以選擇了,不嚴格的時候,就只load能對上的parameter,對不上的ignore

4。有個看起來酷酷的

in-built profiler

,可以用來檢視各個步驟cpu和gpu上的耗時了

暫時這些啦~等用起來再體會體會。

感覺0。4也不遠了吧

如何評價 2017 年 12 月 5 日釋出的 PyTorch 0.3.0?匿名使用者2017-12-06 01:09:08

啥時候官方支援windows了,我一定把pytorch吹上天。然而現在還得靠好心人做的第三方windows包,更新速度慢不說,還有各種迷之bug。今天跑wgan跑到176iteration就kernel died,每次如此,哎╮( ̄⊿ ̄)╭

如何評價 2017 年 12 月 5 日釋出的 PyTorch 0.3.0?鱉鱉耶夫·蘇跳跳2017-12-06 04:56:42

似乎是修復了dataparallel的死鎖……但是我想知道dataparallel的記憶體洩漏和per-loop效率不斷降低修好沒有………

如何評價 2017 年 12 月 5 日釋出的 PyTorch 0.3.0?潘達的一生之敵2017-12-06 10:07:07

最近在寫強化學習的東西。

原先的版本中是內建了Variable。reinforce()這個用於策略梯度的函式,但是讓人感覺沒頭沒腦的,不知道其作用機理。新版本的release list第一條就是修改了這個函式,讓它變得更加直觀了。具體的可以參見release list。