也入不了孟繁岐的眼。
而現在的第二波論文狂潮,則主要是基於孟繁岐指出的道路,創意上稍顯不足,但工作量還是有的,值得稍微一翻。
主要思路就是遵循韓辭提出的理論解釋,既然你最基礎的歐拉前向效果這麼好,那我就用更加複雜的形式來實現。
歐拉反向法,二階中點法,四階龍格庫塔法,線性多步法等等。
“我在西尼會場的時候,將一整個深度網絡模型解釋為一種高階多維方程,並將殘差網絡的訓練行為定義為了一種求解方式,看來這個理論很受歡迎啊。”
孟繁岐看著自己挖的大坑這麼多人往裡跳,不由得笑道。
這個解釋實在太合理了,也太符合直覺了。
要解釋人工智能模型到底在做什麼,有一個非常好的例子,就是進食和消化。
食物在胃中,隨著時間變化的消化情況,可以由一個方程來表示,這是未知的函數。
根據這個函數可以計算食物吃下去之後,過任意時間之後,還剩下多少。
而所謂的數據,就是食物吃下去多久之後還剩多少,這部分情報。
這章沒有結束,請點擊下一頁!
這些數據點,每一個都會落在未知的函數上麵,如果數據點足夠多,就能夠無限接近函數本身。
可以說,深度神經網絡的訓練過程,就類似於隨機初始化了一個函數,給你一個x,算出來y`。
通過反複告訴它你算的y`跟實際上的y差了多少,從而讓它能夠儘量接近那個未知的函數。
所以理論上,隻要數據樣本足夠,就總是能夠獲得最後想要的結果。
當然了,這是個非常簡單情況的例子,實際上在擬合的方程,是人類目前難以實際分析和表達的複雜結構。
不過有一點是肯定的,那就是孟繁岐的殘差思想,是通過提高了求解的精度來獲得的巨額提升。
這是數值分析當中的概念了,如果把整個網絡理解為一種非線性常微分方程,歐拉前向就是一種簡單的單步顯示迭代辦法。
說人話就是,通過近似的迭代模擬,省略了複雜的求解過程。
讓計算機直接算百層網絡的情況,它算不明白,所以用反複的簡單操作來代替。
簡單的格式計算求解的準確度當然會差一些,複雜的格式,計算求解精確度會高很多,勢必會使得模型的性能更好。
這是個基於理論得出的推斷。
因此西尼那次國際計算機視覺大會之後,所有人都認為,孟繁岐不僅做出了突破性的成果,並且還給出了一個可以指引網絡變得更好的理論方向。
真是活菩薩啊!
烏泱泱一大批人前赴後繼,義無反顧地往這個理論大坑裡跳。
然而事情怎麼可能會那麼簡單呢?複雜的格式需要成倍的計算量,這在深度神經網絡這個實際上是離散表達的格式中,並不容易轉化。
無數的研究者跳進去之後,才發現都說挖坑挖坑,原來這還真是個大坑,費了半天勁勉強做出來的結果,根本和孟繁岐的殘差網絡性能差不多,有時候甚至更差!
一時間哀嚎遍野。
“你們隻管往理論的大坑裡麵跳,我可不管埋啊!”孟繁岐一邊幸災樂禍一邊想著。
他當時在會上發布殘差網絡的同時著重提了這個理論解釋,確實也有三分等著看人跳進坑的惡趣味在裡麵。
理論特彆紮實明白的做法經常不起作用,而像自己的重參數化這樣反直覺的辦法反而效果絕佳,人工智能這個坑爹領域的事情,誰又能說得清呢?
理論方麵的事情,101novel.com23年了都還差得遠呢,現在哪裡搞得明白。
不過,孟繁岐在這方麵看得明白,遠在燕京的韓辭卻是黯然神傷。
當初西尼會場之上,一個實踐一個理論,兩邊的成果都備受矚目,也算是一段佳話。
可短短兩三個月過去,實踐派的孟繁岐新的成果層出不窮,頻頻突破人類水準,阿爾法狗甚至直接約戰世界冠軍。
而她目前唯一的理論成就,卻被證明隻能在玩具級的數據上得出符合的結論,稍有一些其他的變量,就不吻合。
其中的委屈,又怎麼說得清!
喜歡重生之ai教父請大家收藏101novel.com重生之ai教父101novel.com更新速度全網最快。