會議的主持人麵帶笑容,宣布孟繁岐隆重登場。
孟繁岐沉迷分成的計算,正在暢想美好的未來,完全沒有感覺到時間竟然過得如此之快。
連忙關掉穀歌的財報,緩步登台。
看著台下滿滿一教室的ai領域學者們,都翹首以盼,用十分期待的目光看著自己,孟繁岐發覺自己遠沒有想象的那麼緊張。
“大家好,這個報告的主題主要是應用於圖像領域的深度殘差學習。我知道大家可能主要是為它在圖像識彆領域取得的成績而來的。”
說到這裡,孟繁岐頓了一秒,台下響起了會心的笑聲。
“不過在這樣的場合,我個人並不希望花費太多的時間在具體的細節上麵,相關的論文和代碼在最近一段時間會陸續地開源,對細節感興趣的朋友可以自己去探索。”
與穀歌簽下合同之後,孟繁岐手頭的所有論文也就沒有繼續壓在手裡的必要了。
借著發布會和這次國際會議的熱度,他準備直接全部公之於眾。
當然,這部分內容現在需要先經過穀歌的首肯和內部審閱才可以發布出去,以免它們可能導致穀歌的利益有損失。
不過由於這部分技術內容大都是圖像算法領域的,目前還沒有涉及到穀歌的關鍵利益。
若是等幾周後,孟繁岐將對穀歌推薦和廣告算法的一係列策略做出來之後,想要公布這部分技術,穀歌是萬萬不可能會答應的。
不涉及核心利益的情況下,穀歌在這些技術方麵一向還是非常大方的,在經過傑夫和辛頓的審閱之後,孟繁岐已經準備先後把之前攢下的部分工作公布出去。
在大會開始之前,以drea為首的部分論文已經可以在arxiv上直接閱讀到。
剛才其他隊伍在上麵介紹自己做法的時候,其實也有很多人像孟繁岐看財報一樣,在偷偷閱讀drea的論文。
“雖然賽事的主題是圖像的識彆分類,但如此多學者聚集在一起的機會確實不多,我希望同時把其他方麵的一些內容一起在這裡展示一下。”
視覺頂會有三個,分彆是本次孟繁岐參加的國際計算機視覺大會,iv。
還有歐洲計算機視覺會議,ev,一個偏歐洲一點的會議。
這兩個都是兩年一辦,所以一年也隻有兩次這樣國際頂級的會議機會。
唯一一個每年都舉辦的,是cvpr,國際計算機視覺和模式識彆大會。
但它的舉辦地點基本上都在美國,簽證方麵經常會有一些問題。
本次的機會比較難得,當然要多宣傳一下自己的工作。
“基於drea的殘差思想,不僅在圖像的識彆分類上取得了巨大的突破,我同時也衍生出了它的一些變體,比如生成式網絡,檢測網絡,還有分割網絡。”
識彆分類有競賽結果,生成式網絡的論文已經放出,而檢測的網絡隨著白度的發布會,大家也已經了解它的威力。
至於分割網絡,則是這兩天隨著drea的論文一起放出的u工作。至此,可以說視覺類幾大任務的基礎範式已經被孟繁岐奠基。
今後不論是識彆分類,分割檢測,還是遷移生成,都很難繞得開這些輕便又好用的辦法了。
“可以看到,這種思想席卷視覺領域之後,使得目前主要的研究方向都有了顛覆性的突破。”
孟繁岐將這幾篇論文的主要試驗結論擺在了幻燈片的第二頁,就是要先以結果震撼眾人。
“顯然,這些算法在諸多領域都與第二名拉開了巨大的差距,而相當一部分的功勞應當屬於殘差思想對網絡深度的革命。”
“在10年11年,我們仍在使用人工設計的sift,hog還有sv,12年,阿裡克斯的八層alex取得了巨大的突破。”
“而今年,殘差思想引發的深度革命,使得訓練150+層的神經網絡成為可能。”
“深度神經網絡是很多任務場景,尤其是視覺任務場景的基礎引擎和骨乾,這也是為什麼它能夠迅速影響幾個主流的任務。”
“從結構上看,drea並沒有什麼特彆的,比起之前每一層都單獨設計的網絡,我其實故意希望它變得簡單,重複。”
孟繁岐身後的幻燈片展示了一個極其細長的圖案,這就是一百多層深的drea結構圖。
放大展示它的基本設計,眾人發現,它的單層設計非常簡潔樸素,隻采用了最常規的算子操作。
長長的結構圖滾動了起來,觀眾們都發現,原來每一層並沒有任何區彆,隻是單純在重複。
由於一百多層的滾動需要太久,在這個嚴肅的場合顯得有些喜感,場內發出了一陣陣笑聲。
“那麼這裡就引出了一個問題,那就是是否單純地把網絡做大作深,就總是可以取得更好的結果呢?”
孟繁岐的這個問題,直到101novel.com23年也沒有一個理論上的答複,但很顯然,巨大的模型還在持續地創造一個個奇跡。
不管是繪畫,對話,還是圖像操作,都還遠沒有到達極限。
“我非常希望自己能夠清楚地從理論上告訴大家這個答案,但由於能力有限,我也隻能給出自己的猜測,那就是yes。”
“我相信,隻要更多更好的gpu,更多更好的數據,以及更大大模型和更好的優化辦法,我們就可以持續地創造奇跡。”
“而之前的網絡在深度上遇到的阻礙,我認為並不是網絡的能力問題,而是我們沒有找到合適的辦法去優化好它。”
讓網絡多重複幾次,這是很多人都試過的事情,很顯然,得到的結果是比原本要差的。
這在傳統方法中,不是什麼奇怪的現象,很多人都將這個現象解釋為維度災難或者過擬合,沒有進行足夠深度的探索。
“稍加思索,這顯然是一個反直覺的現象,對於更深的網絡,我們完全可以將小版本網絡的所有參數複製進來,而多出來的部分隻要什麼事情都不做,這個模型就至少不會更差。”
“但事實上,卻並非如此,我相信很多人都觀察到了這樣的普遍現象,那就是更深的模型反而變差了不少。”
喜歡重生之ai教父請大家收藏101novel.com重生之ai教父101novel.com更新速度全網最快。