“你們有沒有看過變分自編碼器vae的那篇論文？”
孟繁岐和阿裡克斯，伊利亞三人一邊做著餐前準備，一邊閒聊道。
就在孟繁岐去年提出生成對抗模型gan之後，同年年底有一個類似的生成式模型被提出，那就是變分自編碼器。
vae和孟繁岐提出的gan都是深度生成式模型，兩者均被視為無監督式學習領域最具研究價值的方法。
“當然看過，它的思路跟你的gan挺像的，都是從隱藏變量去生成目標數據。”
變分自編碼器的反響和熱度比孟繁岐的gan低了一些，一是因為先入為主，孟繁岐的gan珠玉在前。
另一方麵也是因為gan兩個網絡對抗的思路和結構太過新奇，非常獨特有創意，而且即便是領域外的人也容易理解。
相比之下，變分自編碼器則顯得更加樸實無華一點。
“其實原理都差不多，你們都假設隱藏變量服從某種概率分布，目的就是為了訓練一個模型，可以將原本的概率分部映射到訓練集的概率分布，是一種對這種分布的變換。”
伊利亞簡單總結道。
伊利亞正是年輕力壯的時候，有天賦又努力。
完全是論文機器，看得多寫得多，對領域內的新東西門兒清。
阿裡克斯則已經稍微有點劃水的兆頭了，看論文不求甚解，主要讀一個大概的意思和想法。
“呦，年輕人們真有活力啊，都這麼努力好學？飯前這點時間也要頭腦風暴一下？”
辛頓手裡端著一杯果汁，溜達過來，發現自己的兩個學生竟然在這個慶功宴上還忙著討論學術，很是欣慰地調侃道。
“我們在談論生成式模型的問題，孟似乎有一些新想法。”
“什麼內容，說來聽聽。”
“vae和gan都是希望生成的數據分布和目標分布十分接近，這種接近聽上去很棒，可實際上難以量化。”
孟繁岐解釋道“兩個輸出，比如圖像，他們的分布到底是不是相等或者接近，缺乏足夠好的量化標準與價值判斷。”
“gan其實就是大力出奇跡的意思了，我也不管到底怎麼評判，乾脆整個就把這種隱含的衡量方式給學過來，這就導致對計算量和數據的要求非常大，並且也不是那麼容易控製。”
“而變分自編碼器的方式其實優雅不少，很值得我借鑒。”
辛頓聽完微微揚眉，學界不少年輕天才甚至老學究，都對自己的技術盲目自信和吹捧。
甚至不乏那種相互之間鬥嘴皮子，爭奪某某技術首發頭銜的情況。
像孟繁岐這樣，沒幾個月就開始反思自己技術不足之處的，還挺少見的。
畢竟目前學界對gan的評價是相對更高的，後續跟進的研究也更多。
“我們首先理解一下生成模型的本質，其實就像是一百個樣本裡采樣十個，我們稱呼這十個為x，用這個十個樣本學到它的分布px。使用這個分布，就能夠得到未被采樣的數據。”
辛頓也加入了進來，他直接從最基礎的部分開始分析。
“現在的問題就是，這個分布太難了，沒法直接學到。因此我們退而求其次，使用一個滿足特定分布的隱變量z來生成這些樣本x。計算pxsuzpx|zpz，其中px|z為後驗分布，pz是先驗分布。”
“vae的核心就是假設了pz和每一個pxi|z均為正態分布。他的學習是xi和z的關係，而不是你的gan裡麵，x與x"的關係。”
辛頓的分析非常老辣，直指最關鍵的地方。
“這一點確實比gan簡單了很多。”
孟繁岐不得不承認這一點，已經知道是正態分布的情況下，這種學習就是小學二年級知識內容了，學均值和方差就可以。
z是我們自己假設的，xi是采樣已知的，這種學習方式很容易就能學到這些已知的樣本。
vae通過專屬與某個樣本的zi建立了x與x"之間原本很難學習對比的問題，屬於相當聰明的做法。