網絡結構的重參數化,原理並不複雜,說白了就像是數學上的結合律。
和加法結合律,乘法結合律什麼的差不多是一個意思。
屬於是小學二年級知識點。
隻不過這次結合的並非是3+5這樣的簡單加法,而是比較複雜的神經網絡算子。
哪些算子是線性的可以合並,如何合並比較好,分支怎麼設計,還是稍微有一些工作量。
這個結果值得和前麵的移動端網絡一起,寫作兩篇論文。
孟繁岐自從簽了穀歌之後,基本上不怎麼寫論文了,沒有了很強烈的發文需求,忙了好一陣子創業和撈錢的事情。
這一次參與圍棋ai的項目,倒是跟幾位高手一同寫了不少內容。
席爾瓦,戴密斯,黃士傑和孟繁岐前段時間把阿爾法狗的技術總結了一番,各自詳細描述了一下技術內容,目前由席爾瓦在整合當中。
由席爾瓦,黃士傑和孟繁岐共同作為第一作者,戴密斯為通訊作者,投稿阿爾法狗的詳細技術內容到《自然》雜誌。
這番投稿比原本早了快兩年,給編輯以及審稿人的震撼程度勢必又能再上一個台階。
原本是三個月,現在估算下來,可能兩個月左右就能刊登。
“我去年年底投的計算機視覺領域的頂會,一審結果還沒出呢。”孟繁岐查看了一下郵箱,覺得情況有些好笑。
他公布在arxiv上麵的那些論文,雖然質量很高,但其實嚴格意義上來說,都還在審稿當中。
算不上是正式發表的內容。
arxiv上確實存在沒有正式發表,也不準備再正式發表的曠世奇作,重要論文。但畢竟是極少數。
大部分未發表內容還是比較一般的,孟繁岐還在早期階段,咖位還不夠,該發的文章還是得發。
可能再過兩年,以他的咖位就不需要繼續正式發表什麼文章了,懶得發的話,隨便arxiv上公布一下也可。
說是這麼說,但孟繁岐還是沒能想到,自己第一篇正式發表的文章竟然很可能會是一篇一作《自然》正刊,而且根據前世的情況判斷,基本板上釘釘,是封麵文章。
實在是造化弄人。
《自然》和《科學》的地位有目共睹,可以說是科學出版界的百年老店了。
由於兩家都是綜合性刊物,所有的科學領域一起競爭每周相當有限的版麵,想在上麵發表文章可以說是相當的困難。
即便是學術實力很強的大學,院士十來位,傑青和長江學者百來個,一般一整年能出一兩篇自然和科學,也已經算不錯的了,值得嘉獎。
在國內做研究人員,彆的不說,一篇自然、科學正刊,直接立領五十萬乃至上百萬獎金,不在話下。
後續的獎勵和政策協助那更是數不勝數,哇,爆率真的很高。
席爾瓦和戴密斯也覺得特彆神奇,孟繁岐從殘差網絡嶄露頭角以來四五個月,一輪審稿期還沒過完呢,技術倒是生產個不停。
還沒有正式錄用一篇文章,就已經能和自己幾人一起發自然正刊了。
要知道他們都是多少年的積累和努力才有了這個實力。
“你這個重參數化的思想,邏輯上好像把自己給繞進去了啊。”重參數化是一個創意為主的想法,屬於腦洞文。
想到比較困難,實現上倒沒有那麼複雜。
隻是這個原理,在幾位研究者看來,好像不大數學。
“現在的情況就是,你有兩個結構,一個用來訓練,一個用來推理。訓練的比較複雜比較慢,但是推理的則小很多,也很快。”戴密斯簡要地總結道。