dota2這樣的策略遊戲，單個英雄需要一盤下來需要操作上萬次。
其中每次操作可能是行走、攻擊、施法、使用物品、交易物品等等，根據英雄的不同，ai可選擇的操作有8千～8萬種。
需要判斷的東西也有太多了，英雄，小兵，防禦塔；血量，攻擊，護甲，位置，等級；物品，技能，狀態欄。
這種遊戲當中，值得關注的信息點也是海量，絕非輕易能夠搞明白的。
在深度學習阿爾法圍棋取得世界矚目的成績之後，openai押寶了強化學習，而孟繁岐最近則將注意力集中在了gpt大語言模型上。
“openai那邊的事情過段時間再看，眼下最重要的事情還是儘快出一版chatgpt。”
雖然對openai手頭的事情比較感興趣，不過事情還是要分清主次。
前世chatgpt的出現震驚了整個世界，毫無疑問，它又強又聰明，跟它說話很好玩，還會寫代碼。它在多個方麵的能力遠遠超過了自然語言處理研究者們的預期。
那麼問題就來了chatgpt是怎麼變得這麼強的？
gpt技術早已有之，為何此前並沒有如此強勁的威力呢？
這個問題最淺顯的回答當然是數據和模型的規模，在前世，17到19年，大家還普遍在玩幾個億大小的人工智能模型。
結果chatgpt直接就把這個數字乾到了1750億。
整整一千多倍的差距，使得人工智能模型在知識密集型任務上的性能實現了飛躍。
人們普遍認為，更多的模型參數記住了更多的知識。
數據則是另一大原因，三千億單詞的文字庫加上gpt的模式，兩者強強結合，產生了神奇的化學反應。
孟繁岐認為這些很容易想到的觀點是正確的，但隻靠這兩者還遠遠不夠。
一個非常好的例子就是gpt3，chatgpt實際上是gpt35版本。
gpt3最初版的模型大小並不遜色於chatgpt，訓練使用的數據也相差不多，但實際的能力和效果確是天差地彆。
不能說gpt3很弱，因為在很多任務上，它都挺出色地回應了很多指令。但同樣的，在許多任務上，它的性能會非常詭異地遜色於遠遠小於它的模型。
因此，如果考慮到我們想要追求的是一款比較全麵的通用智能的話，的確可以說gpt3不咋地。
可前世後來的許多研究都表明，其實gpt3有著很大的潛力，這些能力後來通過代碼訓練，指令微調和基於人類反饋的強化學習（也就是大名鼎鼎的rlhf）解鎖，最終版本終於展現出了強大的威力，成為了chatgpt。
本小章還未完，請點擊下一頁後麵精彩內容！
“首先，我要做的就是先獲得一個初始的gpt3，不過我現在很難做1750億參數那麼大，最多隻能做到350億參數左右。”
孟繁岐選擇這個大小，是根據最新的p100顯卡的顯存深思熟慮之後的結果。
這裡其實並不存在放不下放得下的問題，前世chatgpt使用的a100顯卡也就隻有80g的顯存，想放下1750億參數那是癡人說夢。
孟繁岐有著一套拆分模型的招式，能夠無限製地將龐大的模型拆分到不同的顯卡上麵。
理論上來說，隻要顯卡夠多，他就能夠無限製地訓練更加龐大的模型。
如果100張可以訓練100億參數，那麼張就能訓練億參數。
可理論終究是理論，同時調度過多的顯卡是非常痛苦的事情。
單張顯卡出狀況，很有可能好幾周的成果都會受到影響。
孟繁岐出於風險的控製，選擇了350億的大小，他有信心可以將最後的結果做得跟初版1750億參數的chatgpt相差無幾。
獲得最基礎的gpt3模型並不困難，基礎的模型結構一年半之前，孟繁岐就已經實現了許多。
龐大的人工智能模型隻是最基礎最核心結構的反複堆疊，並不需要從頭仔細設計一個不同的版本。
就像是二階魔方和三階魔方的區彆，基礎的模塊是那一個個小方塊，二階魔方擁有2x2x2一共8個方塊，三階魔方則有3x3x3，一共27個方塊。
基本元素沒有任何的改變，隻是數量上變多了。
而這些參數的設置，除了最好是2的n次方之外，通常也沒有什麼特彆的規矩和道理。
因此，隻要單純地將此前已經做過的gpt係列模型放大、加深，孟繁岐就已經獲得了一個350億左右參數的gpt3模型。
但想要將這個大小的模型給訓練起來，那可就麻煩了。
“350億參數的模型，參數本身、梯度、優化器的狀態個個都是本身大小的好幾倍。按理來說，每一台服務器都應當有tb級彆的內存來存放這些狀態。現在你們知道，我為什麼特意要求英偉達將服務器內存再擴大好幾倍了吧？”
顯卡的顯存是比較高難度的硬件技術問題，英偉達一時間也沒法解決。
但服務器卻是可以加裝高速內存的。
在普通人的遊戲主機上，通常都是2到4根內存條，一般一根8g或者16g的居多。
正常的用戶，內存大都是8到32g，富有一點的，64乃至128，不得了了。
而孟繁岐則是為每一台服務器，直接配備了4個t的內存大小。
其規模令人瞠目結舌。
這特麼的可是內存，不是硬盤啊！
內存隻是一種臨時存儲設備，用於存儲計算機正在使用的數據和程序。
硬盤才是用來永久存放數據和文件的設備。
“4t的內存比我自己電腦的總硬盤量還大兩倍”
此時此刻，主流的筆記本一共可能才500g，自己組裝的台式機也就1t的硬盤大小。
這一台的內存，就能裝下8台中高端筆記本的所有數據，奢華的程度，不言而喻。
孟繁岐使用大量的高速內存，目的在於解決當今顯卡的顯存不足問題。
將絕大多數暫時不參與運算的數據和參數，從顯卡移到內存上，需要的時候再從內存取回。
如此反複讀寫，需求次數太多，普通的硬盤速度太慢，孟繁岐直接上了內存級彆的設備。
鈔能力發動！
“訓練啟動，那就得幾個月後見了。”孟繁岐為了這一刻已經持續收集了接近兩年的高質量數據，上千億詞的訓練數據，總規模已經接近兩個t的大小。
“等到夏天，差不多應該可以完工，到時候還得專門針對中文優化一版，更適合華國寶寶體質的chatgpt。”
前世中文數據的質量和數量都不大夠，孟繁岐當然要彌補這個遺憾。
“算算時間，我也差不多要本科畢業了，這個chatgpt，就當我的畢業設計成果吧。”
喜歡重生之ai教父請大家收藏101novel.com重生之ai教父101novel.com更新速度全網最快。