第378章 繪圖AI的三種形式_重生之AI教父_思兔 
思兔 > 都市言情 > 重生之AI教父 > 第378章 繪圖AI的三種形式

第378章 繪圖AI的三種形式(1 / 1)

【377是當選的內容肯定是出不來了,378前半部分和諧了,不能寫,我把後半部分放免費章節在這裡吧。】

不論大家的觀點如何離譜,對於ai領域的關注隨著大選節節攀升也是不爭的事實。

這種熱度在孟繁岐宣布即將發布真正的,能夠根據文本繪圖的人工智能後,來到了一個新的巔峰。

因為接近半年之前,孟繁岐放出的試用版本clip就已經展現了相當出色的繪圖能力和多模態理解能力。

好到大家都以為這東西是專門為了ai繪圖而研發的。

結果沒想到,僅僅隻是加入了圖像和文本之間的對應關係,模型就很快自發的擁有了如此之強的圖像生成能力。

而且半年前就已經那麼驚人了,現在那還得了?

對於萬眾期待的ai繪圖,內部的研發其實並不順利,這點從發布時間上就能夠看出。

孟繁岐也猶豫了相當一段時間,應該具體選擇怎樣的路線。

前世最為著名的ai圖像生成器,主要是stablediffion,idjourney和dalle三個。

其中sd擴散模型是基於clip的文本生成圖像模型,它的方式是從有噪聲的情況開始,逐漸改善圖像,直到完全沒有噪聲,逐步接近所的文本描述。

它的訓練方式也已經經過了多次的研究打磨,先采樣一張圖片,並隨著時間的推移逐漸增加噪聲,直到數據無法被識彆。隨後讓模型嘗試將圖像回退到原始形式,在此過程中學習如何生成圖片或其他數據。

這種路線如其名字stable一樣,非常穩定,不過倘若想要生成非常高質量的圖像,計算消耗非常之大。

技術上已經達成,但在成本上,似乎目前不是很適合投入市場。

前世的idjourney則比較擅長各種藝術化的風格,生成的圖像常有非常精美的結果。

隱姓埋名,一舉奪得繪畫大賽金獎的那副【太空歌劇院】便是idjourney的作品。

按理來說,這個路線更具美感,既能夠起到震撼宣傳的效果,又能吸引大量用戶,應該是上上之選。

不過對比開源的擴散模型辦法,idjourney使用的是公共平台機器人來處理用戶的請求。

由於其封閉盈利的模式,孟繁岐對這款ai的具體技術細節知之甚少,也不清楚它最為核心的技術關鍵是什麼,因而隻得放棄這條線路。

“如果從前世的知名度和受歡迎情況來看,擴散模型和pt進行了組合,有非常大的潛力,考慮到以後的發展情況的話我需要對兩者路線進行融合。”

正是因為需要集兩家之長處,孟繁岐的擴散繪圖ai才會比預期要晚了幾個月。

最終形成了一個比較成熟的壓縮、擴散、和隱空間再擴散三步走的係統。

這種整體做法的實驗、討論和最終確定,耗費的時間甚至比正式訓練還要久。

“也不知道量子計算機這種計算性能數量級提升的東西什麼時候能弄出來,如果算力夠快,其實能省事不少。”孟繁岐想起這件事情還是覺得疲倦。

之所以要拆分出這麼多模塊,其中最大的原因就是計算資源消耗的問題。

圖像的分辨率是平方,t方法內的運算又有維度上平方的操作,用戶覺得256和512分辨率的圖片差不多,可反應到全局則往往會是一個數量級的提升。

為此,隻得將擴散模型的學習步驟放到低緯度空間裡進行采樣。

說直白點,就是先把分辨率搞低,從而極大地減少擴散前後步驟的計算量。

“這樣做會不會有損性能?使得生成的圖片效果不夠好?”決定發布這版本算力上有所閹割的擴散模型,closeai內部也提出了這樣的擔憂。

畢竟算法方麵其實可以做得更好,雖然代價會大一些。

“這裡也不僅僅是計算時間的問題,同時也是顯存的問題。不做這種拆分和圖像分辨率的閹割,相同的一張卡不僅運算速度變慢一個數量級,能夠同時進行的任務也少了好幾倍。”孟繁岐堅持先解決用戶數量的問題,性能和效果可以慢慢去優化。

這就像是一個巨大的胖子來吃飯,不僅用餐時間是彆人好幾倍,他一個人還能坐四個座位。

在孟繁岐看來,ntrol提出之前,首先發布的繪圖ai也隻是一個玩具。

其性能有所上下波動無傷大雅,因為早期優質出圖的成功率本來也不高,往往是需要大量測試後挑選一個能看的。

這主要是因為不管是文生圖還是圖生圖,在早期都缺乏一個特彆好的控製手段。

“我們現在推出的這款擴散模型,具體的用法還是大量的文字輸入去控製圖像的產出。但是文字想要清楚地描述一張具體的圖像是非常困難的,即便大批量的嘗試加上大量的生成,未必就能得到自己想要的結果。”

“這種生成模式,也要用圖文結合的方式。我們還要找到具體的辦法,通過額外的條件添加來控製擴散模型的行為,告訴它什麼要調整,什麼不要調整。做到生成圖像內容的儘量可控,要遠遠比圖像似乎更加精美好看一點要更重要,優先級更高。”

孟繁岐很清楚早期ai繪圖的最大問題,那就是生成圖像像是在吟唱黑魔法。

為了得到一張心滿意足的圖片,很可能需要詠唱一百來個關鍵詞。

當時不少人都笑稱,玩ai繪圖搞得跟賽博邪教一樣,嘴裡嘟囔著一大堆彆人似懂非懂的話。

甚至還有打包了大量優質圖片關鍵詞,直接拿去售賣的。

喜歡重生之ai教父請大家收藏101novel.com重生之ai教父101novel.com更新速度全網最快。



最新小说: 爹媽不要,首富老公把我娶回家寵 兩界之門 小師妹明明超強卻過分沙雕 豪門作精破產後,上門老公成金主 契約者與樂園與緯度 重返二十歲的惡劣雄蟲又被迷暈了 鳳族女帝穿越成豪門少奶奶後,總裁傻眼了 我和隱婚妻子是心靈伴侶 截教:悟性逆天!拾取詞條證混元 您有一封來自鬼校的錄取通知書