14年仍在人工智能技術崛起的早期,主要是由阿裡克斯在模型參數量上的創舉和孟繁岐的殘差網絡敲開了深度的大門,完成了兩次性能飛躍。
從而實現了對傳統辦法的性能碾壓態勢,迫使許多領域在12年內不得不轉型采用人工智能方法。
因為性能實在差太多了,不換根本行不通。
孟繁岐的好友唐璜當年在讀研的時候,導師就遲遲不肯轉移重心到深度學習上麵,認為該係列方法缺乏理論,不如傳統辦法優雅。
傳統辦法邏輯嚴謹,證明優美,是不少老學究的心頭好。
結果拖到17年左右,文章都發不出去了,性能不夠啊。
投出去經常都是直接被拒稿,說你這個辦法效果太差,沒有價值。
硬著頭皮挺了一年,實在是挺不下去了,沒辦法,人還是要吃飯的嘛
打不過就隻能加入,老教授牙一咬心一橫,管他什麼理論不理論,我也來搞一個人工智能模型跑一跑。
一埋頭,也加入了ai大軍。
不過那是幾年之後了,此時的大家還是比較在意理論的。比如席爾瓦和戴密斯,就很在意孟繁岐重參數化的數學形式。
一是因為時間早,許多人心裡還是放不下傳統理論,看到什麼現象和提升,都想把它解釋清楚解釋明白。
對深度網絡的[黑盒]屬性,大肆抨擊。
二也怪孟繁岐,在提出殘差網絡的時候,參考鄂維南的想法,拉上了韓辭給了世界一個太過合理的理論解釋。
殘差網絡就是數值分析中的迭代辦法,這個解釋多優雅呀。
原本時間線愷明提出殘差網絡的時候,更多地還是從工業和實驗的角度上去討論。
至於理論原理那就是未解之謎了。
不過,隻要性能夠好,這些都不是什麼問題。
隻能夠提升一點性能,大家會質疑你,為什麼解釋不清楚。
而若是能夠把性能拉滿,大家就會質疑自己,為什麼想不明白。
更何況,當時孟繁岐借韓辭之口,將鄂維南院士為殘差網絡所做的理論解釋公之於眾,一時間傳為美談。
很多學者都覺得,好哇,人工智能這個黑盒終於有救啦!
與動力係統構建了橋梁,那可以解釋的地方就太多了。
fx+x的形式,一句歐拉前向形式,就給予了完美的解釋。
優雅,太優雅了。
不過優雅卻也隻是一時的,眾人很快回過味來。
如果說,孟繁岐提出的殘差形式是歐拉前向的格式,那是不是意味著其他的形式可以取得更加好的結果呢?
這是一種非常合理的設想。
理論之所以重要,不僅僅在於它可以解釋一些現象產生的原因,更重要的地方在於,它可以預測後續的發展,推測可能會發生的結果。
基於理論,繼續探索更多的可能。
歐拉前向的形式,並非是非常複雜的數學形式。
反而,它屬於最為基礎,最為簡潔的初級形式。
這就給了大家很大的空間去水文章啊不,去探索,去研究。
循著孟繁岐留下的這個方向,第二波的論文狂潮於最近初現端倪。
一個月前的第一波論文潮,基本上全是水文,主要是拿來主義。
把孟繁岐的技術直接拿到自己的小眾任務上,你的代碼技術很好,現在是我的了!
我運行一下,發現效果很好,超過了原本的世界紀錄,迅速寫作投稿水一篇文章,很舒服。
又或者是稍微調整了一下孟繁岐的某個結構,在他論文裡報告過的任務上有了微小的提升,忽略自己改動的缺陷不提迅速寫作,稱自己超越了孟繁岐,水一篇文章。
這種拿來主義水文,創新度和工作量不夠,價值大部分也很低,一般發不了太好的會議和期刊。