近日，Medium上一篇題為《AI in 2018 for developers》的文章，針對應用于業(yè)界的機器學習開發(fā)人員，根據2017年的領域的最新和最重大進展，對2018年的進展做了展望。

繼續(xù)從事研究當然很棒，但是，必定還有一些人工智能領域在 2017 年已經成熟、現已準備投入大規(guī)模應用了。這就是本文的主題——我想分享的是那些已經發(fā)展得足夠好的技術。它們已能應用于你當下的工作中，甚至你能借此創(chuàng)業(yè)。重要提示：這是一份涵蓋人工智能領域、算法和技術的清單，且它們都能立即投入使用。例如，你可以在文中看到時間序列分析，因為深度學習正在迅速取代信號處理領域之前的先進技術。但是，文中并沒有提到強化學習(雖然它聽起來更酷)，因為在我看來它目前還不能投入工業(yè)應用。不過強化學習是個很了不起的、正在成長的研究領域。

此外，我想提醒你，這是一個包含三篇文章的系列文章之一，其中分別從三個角度分享了我對于明年人工智能領域會發(fā)生什么的看法：

作為正在推進領域發(fā)展的機器學習研究者()
作為將機器學習應用于業(yè)界的機器學習開發(fā)人員(本文)
作為生活在這個新世界中的普通人
希望你能挑選適合自己的文章進行閱讀!

另外，我在此并不會談論圖像識別和簡單的計算機視覺，你們已經在這些領域努力多年啦。

GAN 和虛假產物

即使幾年前就有了生成對抗網絡(GAN)，我對此一度非常懷疑。幾年過去了，即使我看到 GAN 在生成 64x64 圖像方面的巨大進步，我仍保持著懷疑。后來我閱讀了一些數學方面的文章，文中提到 GAN 并不真正學習分布，我的疑慮愈發(fā)顯著。不過今年發(fā)生了一些改變。首先，有趣的新型結構(例如 CycleGAN)和數學改進(Wasserstein GAN)吸引我在實踐中嘗試了 GAN，它們或多或少都工作得不錯。在接下來的兩個應用中，我徹底改變了態(tài)度，確信我們可以且必須利用它們來生成事物。

首先，我非常喜歡英偉達關于生成全高清圖像的研究論文，而且它們看上去的確很真實(相比于一年前 64x64 的詭異面孔而言)：

不過，我最喜歡(作為一個完美的少年夢想應用)且被深深震撼的是生成虛假色情片：

AI-Assisted Fake Porn Is Here and We're All Fucked：//motherboard.vice.com/en_us/article/gydydm/gal-gadot-fake-ai-porn

我還注意到許多游戲行業(yè)的應用，比如利用 GAN 生成景觀、游戲主角甚至是整個世界。此外，我覺得我們必須對新的造假水平引起注意——包括你親友的虛假色情片和線上完全虛假的個人。(可能不久之后線下也有?)

全部神經網絡的獨有模式

現代發(fā)展的問題之一(不僅局限于人工智能產業(yè))是，我們有幾十個不同的框架來完成同樣的東西。今天。每個做機器學習的大公司都必然有自己的框架：谷歌、Facebook、亞馬遜、微軟、英特爾、甚至是索尼和 Uber。此外，還有很多開源的解決方案!在一個簡單的人工智能應用中，我們也希望使用不同的框架：例如，計算機視覺通常用 Caffe2、自然語言處理常用 PyTorch、推薦系統(tǒng)常用 Tensorflow 或 Keras。把這些框架全部合并起來需要耗費大量的開發(fā)時間，并且會讓數據科學家和軟件開發(fā)者無法集中注意力完成更重要的任務。

解決方案必須是一個獨一無二的神經網絡形式。它需要能從任何框架中容易地獲得，必須由開發(fā)人員輕松部署，并能讓科學家輕易地使用。在這個問題上，今年出現了 ONNX：

實際上，它只是非循環(huán)計算圖的簡單格式，但卻在實際中給了我們部署復雜人工智能解決方案的機會，而且我個人認為它非常具有吸引力——人們可以在像 PyTorch 這樣的框架中開發(fā)神經網絡，無需強大的部署工具，也不需要依賴 Tensorflow 的生態(tài)系統(tǒng)。

各類 Zoo 激增

對我來說，三年前人工智能界最讓人興奮的東西是 Caffe Zoo。當時，我正在做計算機視覺的相關工作，試遍所有模型，并檢查它們如何工作、結果如何。稍后，我將這些模型應用于遷移學習或特征提取器。最近，我使用了兩種不同的開源模型，類似大型計算機視覺流程中的一部分。這意味著什么?這意味著事實上沒有必要訓練自己的網絡，例如 ImageNet 的對象識別或地點識別。這些基礎的東西可以下載并插入到你的系統(tǒng)當中。除了 Caffe Zoo 之外，其他框架也有類似的 Zoo。不過，讓我感到驚奇的是，你可以僅在你的 iPhone 中插入計算機視覺、自然語言處理甚至加速度計信號處理的模型：

likedan/Awesome-CoreML-Models：//github.com/likedan/Awesome-CoreML-Models

我認為，這些 Zoo 只會越來越多，將 ONNX 這類生態(tài)系統(tǒng)的出現考慮在其中，并進行集中化(也會由于機器學習區(qū)塊鏈應用而導致分散化)。

自動機器學習替代流程

設計神經網絡結構是件痛苦的任務——有時候你可以通過添加卷積層獲得不錯的結果;但是大多數時候，你需要使用超參數搜索方法(如隨機搜索或貝葉斯優(yōu)化)或是直覺仔細設計結構的寬度、深度和超參數。在計算機視覺領域，你至少可以調整在 ImageNet 上訓練的 DenseNet。但如果你在某些 3D 數據分類或多變量時間序列應用中工作，這一點將尤其困難。

使用其他神經網絡從頭生成神經網絡結構的嘗試有很多，但對我而言最棒、最清晰的是近期 Google Research 的進展：

AutoML for large scale image classification and object detection：//research.googleblog.com/2017/11/automl-for-large-scale-image.html

他們使用 AutoML 生成的計算機視覺模型，比人類設計的網絡工作的更快、更好!我相信，很快就會有許多關于這個話題的論文和開源代碼。我認為，會出現更多博文和初創(chuàng)公司，告訴我們「人工智能所創(chuàng)造的人工智能學習了其他人工智能，它可以……」，而不是「我們開發(fā)了一個人工智能，它可以……」。至少，在我的項目中我會這樣做。我也相信不是只有我一個人這樣做。

智能堆棧正式化

在這個概念上，我閱讀了很多 Anatoly Levenchuk 的博文。他是俄羅斯系統(tǒng)分析師、教練，同時熱衷于人工智能領域。在下圖中，你可以看到所謂「人工智能堆棧」的實例：

//www.tvmlang.org/2017/10/06/nnvm-compiler-announcement.html

它不僅包括機器學習算法和你喜愛的框架，還有著更深的層次。而且在每個層面，都含有自身的發(fā)展和研究。

我認為，人工智能發(fā)展產業(yè)已經足夠成熟，從而能擁有更多不同的專家。在團隊中，僅有一名數據科學家遠遠不夠——你需要不同人員從事硬件優(yōu)化、神經網絡研究、人工智能編譯、解決方案優(yōu)化和生產實施等方面的工作。在他們之上必須有不同的團隊領導、軟件架構師(為上述每個問題分別設計堆棧)以及管理人員。我曾經提過這個概念，希望將來人工智能領域的技術專家能夠不斷成長(對那些想成為人工智能軟件架構師或技術引領者的人而言——你需要知道該學什么)。

基于語音的應用

人工智能所能解決的準確率可達 95% 以上的問題其實非常少：我們可以將圖像識別分類到 1000 個類別，可以判斷文本的正負面性、當然也能做一些更復雜的事情。我認為，還有一個領域將因人工智能派生的上千個應用發(fā)生動蕩：那就是語音識別和生成。事實上，一年前 DeepMind 發(fā)布 WaveNet 之后這個領域還發(fā)展得不錯。但是今天，多虧了百度的 DeepVoice 3 和最近在 Google Tacotron2 的發(fā)展，我們已經走遠：

Tacotron 2: Generating Human-like Speech from Text：//research.googleblog.com/2017/12/tacotron-2-generating-human-like-speech.html

這個技術很快就會發(fā)布在開源代碼中(或著被一些聰明的人復制)，而且每個人都能以非常高的準確率識別語音并生成它。這會帶來什么呢?更好的私人助理、自動閱讀器、談判轉錄機……當然還有作虛假聲音產品。

更加智能化的機器人

我們今天所看到的機器人都有一個很大的問題——其中 99% 根本不基于人工智能，只是硬編碼而已。因為我們意識到，我們不能用上百萬個對話的注意力訓練某些編碼-譯碼器 LSTM，從而獲得智能系統(tǒng)。這就是為什么 Facebook Messenger 或 Telegram 中的絕大部分機器人都只有硬編碼命令，至多擁有一些基于 LSTM 和 word2vec 的句子分類神經網絡。但是，現代先進的 NLP 有點超出了這個水平。只需要看看 Salesforce 做出的有趣研究就能領會這一點：

AI Research - Salesforce.com：//www.salesforce.com/products/einstein/ai-research/

他們正在構建與數據庫相連的 NLP 接口，克服現代編碼-譯碼器的自動回歸模型，不僅對文字或句子進行嵌入訓練，而將范圍擴展到了字符嵌入訓練。此外，還有一個利用強化學習進行 ROUGE 分數 NLP 優(yōu)化的有趣研究：

//www.salesforce.com/products/einstein/ai-research/tl-dr-reinforced-model-abstractive-summarization/。

我相信，隨著這些發(fā)展，我們至少能提升機器人水平。它們能檢索更多智能信息、進行命名實體識別，而且很可能在某些封閉領域充分深度學習驅動機器人。

先進的序列分析

除 Salesforce 外，第二個被低估的機器學習研究實驗室是 Uber 的人工智能實驗室。前段時間，他們發(fā)表了一篇博客，展示了對時間序列的預測方法。老實說這讓我有點受寵若驚，因為在我的應用中基本上也用了同樣的方法!看看吧，這就是將統(tǒng)計特征和深度學習表示相結合的實例：

Engineering Extreme Event Forecasting at Uber with Recurrent Neural Networks：//eng.uber.com/neural-networks/

如果你需要更多振奮人心的實例，請用 34 層一維 ResNet 嘗試診斷心律失常。最棒的部分無疑是其性能——它不僅優(yōu)于一些統(tǒng)計模型，甚至超過了專業(yè)心臟病專家的診斷!

最近，我從事的大部分就是深度學習的時間序列分析。我可以親自證實神經網絡工作得非常好，你能獲得優(yōu)于「黃金標準」5-10 倍的性能。它真的能行!

超越內置的優(yōu)化

我們如何訓練神經網絡?說實話，我們大多數人只是使用類似「Adam()」函數或是標準學習率。一些聰明的人選擇最合適的優(yōu)化器，并調整和調度學習率。我們總是低估「優(yōu)化」這一主題，因為我們只需按下「優(yōu)化」按鈕，然后等待網絡收斂就大功告成了。但是，在這個計算能力、存儲和開源方案都大多相同的情況下，優(yōu)勝者往往使用著與你相同的亞馬遜實例，卻能在 Tensorflow 模型中用最短的時間得到最佳的性能——這一切都是優(yōu)化的功勞。

Optimization for Deep Learning Highlights in 2017：//ruder.io/deep-learning-optimization-2017/index.html

我鼓勵大家看看上面 Sebastian's Ruder 的博文，其中談到了 2017 年最新的標準優(yōu)化器改進方案，以及其他非常有用的改善方法。你可以立即將其運用起來。

大肆宣傳的整體下降

cdn.aiindex.org/2017-report.pdf

在閱讀前文后，你能從這張圖片中發(fā)現什么?考慮到許多開源工具和算法的發(fā)布，開發(fā)有價值的新東西并從中獲取很大利潤并不容易。我認為，對類似 Prisma 這樣的初創(chuàng)公司而言，2018 年并非最好的一年——將會有太多的競爭對手和「聰明人」想分一杯羹。他們可以將如今的開源網絡部署在移動應用程序中，并稱其為「創(chuàng)業(yè)」。

今年，我們必須專注于基礎的事情，而不是很快獲利——即使對于某些有聲書初創(chuàng)公司而言，我們計劃用 Google 的 Ratacon 進行語音識別，但這也并非一個簡單的網絡服務，而是與合作伙伴攜手的商業(yè)模式，同時也是吸引投資的商業(yè)模型。

總結

簡而言之，有幾種技術已經可以被用于實際產品：時間序列分析、GAN、語音識別、自然語言處理領域的部分發(fā)展。我們不應該再設計基礎的分類或回歸架構，因為 AutoML 會幫我們做這個。通過一些優(yōu)化改進，我希望 AutoML 能夠比以前運行得更快。此外，使用 ONNX 和各種模型 Zoo 能讓我們僅用幾行代碼將基本模型注入到應用程序當中。我認為，制作人工智能為基礎的應用，在目前先進的技術水平來說不是難事，而且對整個行業(yè)而言并無壞處!對于研究領域的發(fā)展，可以查閱我以前的文章。不久后，我將發(fā)布「2018 人工智能發(fā)展趨勢」系列的最后一篇文章，其中將介紹人工智能如何影響「普通人」的生活。