AI交易觀察家2017-07-02 20:08:07我正在嘗試把教育融入進來
機器之心Pro2017-05-31 16:44:15想了解深度學習最近有哪些突破，一個最簡便的辦法就是去瀏覽一下人工智慧巨頭公司的各個研究部落格（比如谷歌、Facebook、微軟、IBM），以及還有OpenAI的官方部落格，上面深度學習的最新進展就會一目瞭然。連結如下：
OpenAI：https：//openai。com/blog/
谷歌：http：//googleresearch。blogspot。com/
百度：http：//research。baidu。com/baidu-tech-blog/
Facebook：https：//research。facebook。com/blog
/IBM：https：//www。ibm。com/blogs/watson/
DeepMind：https：//www。deepmind。com/blog
亞馬遜：https：//aws。amazon。com/cn/blogs/ai/
微軟：http：//blogs。microsoft。com/next/#sm。00000p17bc4jt8fmrrawc04ec9c5m
另外一些大牛的動態你也可以關注一下，比如深度學習三巨頭Yann LeCun、Yoshua Bengio和Geoffrey Hinton的動態，比如在Facebook、推特或者arXiv上，下面本文列舉一個 Yoshua Bengio 在arXiv 上發表論文的例子。
Yoshua Bengio團隊在2017年 2 月下旬一連在 arXiv 上釋出了三篇相關論文（其中一篇為論文修正），提出了三種不同的 GAN——邊界尋找生成對抗網路（BS-GAN）、最大似然增強的離散生成對抗網路（MaliGAN）和模式正則化的生成對抗網路（Regularized-GAN），每一個都是深度學習領域的重大突破：
論文 1：邊界尋找生成對抗網路（Boundary-Seeking Generative Adversarial Networks）
摘要：本文介紹了一種全新的用於訓練生成對抗網路的方法——訓練一個生成器來匹配一個目標分佈，該分佈會收斂到處於完美鑑別器的極限的資料分佈。這個目標可被視為訓練一個生成器來在每次更新的訓練中產生在當前鑑別器的決策邊界（decision boundary）之上的樣本，我們把使用這種演算法訓練的 GAN 稱為邊界尋找 GAN（BS-GAN：boundary-seeking GAN）。這種方法可被用於訓練帶有離散輸出的生成器——該生成器可以輸出一個引數條件分佈（parametric conditional distribution）。本文透過使用離散影象資料表明演算法的有效性。和提出的演算法相反，本文觀察到最近提出的用於重新引數化（re-parametrizing）離散變數的 Gumbel-Softmax 技術不能用於訓練帶有離散資料的 GAN。最後，本文注意到提出的邊界尋找演算法甚至可以用於連續變數，而且透過兩個被廣泛使用的影象資料集 SVHN 和 CelebA 證明了其有效性。
論文 2：最大似然增強的離散生成對抗網路（Maximum-Likelihood Augmented Discrete Generative Adversarial Networks）
摘要：儘管生成對抗網路（GAN）在獲取連續分佈上已經取得了成功，但其在離散背景（比如自然語言任務）上的應用卻相當有限。主要的原因是透過離散變數的反向傳播很困難，而且 GAN 訓練目標還具有固有的不穩定性。為了解決這些問題，我們提出了最大似然增強的離散生成對抗網路（Maximum-Likelihood Augmented Discrete Generative Adversarial Networks）。我們沒有直接最佳化該 GAN 目標，而是使用遵循對數似然的對應的輸出而推匯出了一種全新的且低方差的目標。和原來的相比，事實證明這種新的目標在理論上是一致的，且在實踐中也是有益的。在多種離散資料集上的實驗結果表明了我們提出的方法的有效性。
論文 3：模式正則化的生成對抗網路（Mode Regularized Generative Adversarial Networks）
摘要：儘管生成對抗網路（GAN）在許多不同的生成任務上都實現了當前最佳的結果，但它們被認為是高度不穩定的且容易出錯。我們認為 GAN 的這些糟糕行為是由於在高維空間中訓練過的鑑別器的非常特定的函式形狀，這可以輕鬆使得訓練陷入困境或將機率質量（probability mass）推向錯誤的方向，導致集中度（concentration）比其資料生成分佈（data generating distribution）更高。我們介紹了幾種對其目標進行正則化的方法，它們可以極大地穩定 GAN 模型的訓練。我們還表明我們的正則化器（regularizer）可以在訓練的早期階段幫助在資料生成分佈的模式上實現公平的機率質量分佈，從而能為該模式缺失問題（missing modes problem）提供一種統一的解決方案。
最後，打個小廣告，你也可以關注機器之心微信公眾號（ID：almosthuman2014）和官方網站，我們會第一時間、無一遺漏地報道深度學習的重大進展。
鋒潮評測2017-08-14 17:52:15IBM公司上週宣佈已成功開發出了一種可以大幅縮短處理海量資料，並得出有用結論時間的全新深度學習技術。
截至目前，深度學習主要依靠單一伺服器執行，因為在不同計算機之間移動大量資料非常複雜。而且，如何處理在不同伺服器和處理器之間的資料同步也是一個問題。
IBM的新技術能夠將這些任務分配到64臺伺服器的軟體，而這些伺服器最高配置有256個處理器，可在資料處理速度方面取得巨大進步。而且，只要是使用IBM Power系統伺服器的客戶以及其他參與測試的技術人員，均可獲得這一技術的使用許可權。
理論上將裝置的處理器擴容100%應該獲得100%的等量效能提升。但實際上，由於複雜的流量管理和連線問題，這種等量增長的效益永遠不會發生。
IBM表示，自己研發的這一軟體系統藉助 “加州大學伯克利分校”（University of California at Berkeley）建立的“咖啡因深度學習框架”（the Caffe deep learning framework），成功在256個處理器之間實現了95%的擴充套件效率。在此之前，這一等量擴容的記錄是由Facebook人工智慧研究公司創造的，其擴充套件效率達到了89%。
具體來說，IBM的資料顯示該軟體可以在7個小時內識別750萬張圖片，準確率為33。8%。在此之前，微軟保持的最高準確率記錄是29。8%，但用時則達到了10天。換句話說就是，IBM已經開發出了比現有深度學習技術更快、更精確的技術。當然，這一系統也需要同IBM的Power系統硬體和叢集軟體配合使用。
杜家嗯哼2017-12-12 18:05:15手機圈的話，華為也算一個吧，麒麟970晶片一出，華為正式進入手機行列的第一梯隊，深度學習或者說AI的能量可想而知。
簡單說一下最重要的NPU吧。
首先，NPU是華為AI戰略的一個基礎部件而已。未來的AI無處不在，而無處不在的AI需要晶片、終端、行動網路、雲的聯動支援，比如晶片提供本地的實時能力和隱私保護、終端提供良好的人機介面、行動網路提供優良的頻寬和時延、雲端提供足夠的深度和廣度。從這個緯度來看，全球我只看好華為的Mobile AI戰略。其次，即使這代的NPU有可能達不到理想，但是，作為Mobile AI戰略的關鍵節點，我認為，未來還是大有前途的。
換個角度來看，一段時間內，專業的單元做專業的事，應該是個趨勢。就像攝像頭的ISP一樣，現在都獨立出來了。
