秦奕來到曆景鑠的辦公室。
“秦總,你看看!”曆景鑠看到秦奕就迫不及待地跟他分享了幾篇在美國學術圈引發熱烈討論的論文,“這篇內容就是之前立項時我跟你提過的反向傳播算法,如今在那邊關注度極高。還有這篇綜述類論文,裡麵提出了將啟發式算法和參數模型描述人工智能的想法。”
秦奕接過論文略讀了一遍。
前一篇裡程碑式的論文不用說,它的提出為神經網絡的訓練了一種高效且通用的方法,使得研究人員能夠深入探索多層神經網絡的潛力,學術界的研究方向也從簡單的單層網絡向更複雜、更強大的多層神經網絡轉移,對整個人工智能的發展都產生了不可估量的影響。
再看那篇綜述論文,雖說名氣不及前者,可在當下能提出這般論斷,也極具開創性。
秦奕是知道未來那些能完成複雜智能任務的人工智能,大多是以神經網絡模型為核心運轉的。當下他便以這篇綜述論文為切入點,與曆景鑠就模型的訓練和推理,進行了一場激烈的頭腦風暴。
現在這個階段,雖然反向傳播算法讓多層神經網絡的訓練成為可能,訓練方法和理論仍在初步階段,尤其是這篇論文裡麵用的siid函數很容易引起梯度消失或梯度爆炸,導致訓練難以穩定進行。
為了解決這個問題,秦奕把前世基本是模型訓練標配的修正線性單元激活函數介紹給了曆景鑠。
另外關於過擬合的問題,秦奕也提到了批歸一化和隨機丟棄這兩種行之有效的技術。
批歸一化可以對每一層輸入數據進行歸一化處理,減少內部協變量偏移,提升模型訓練的穩定性;隨機丟棄則是在訓練過程中,隨機‘丟棄’一部分神經元及其連接,避免神經元之間過度依賴,防止模型過擬合。
曆景鑠聽得聚精會神,不時提出自己的疑問和見解,兩人討論得熱火朝天。
“另外,在推理方麵,硬件計算能力有限,模型麵臨著推理速度慢且準確性有限的困境。”秦奕接著把剪枝和量化這兩種模型壓縮技術的思路講解了一下。
簡單來講,剪枝就是去除神經網絡中冗餘的連接和神經元,量化則是把高精度的浮點型參數轉換為低精度的數據類型,這兩種技術能在不明顯降低模型準確性的前提下,大幅減少模型參數數量和計算量,從而顯著加快推理速度。
最後他又開始係統地介紹前世形成的一套較為規範的模型應用流程,這一套流程分為數據收集與預處理、模型構建、模型訓練、驗證和評估和評估模型幾個步驟。
秦奕說道“數據收集與預處理,要儘可能多地收集與任務相關的數據,並對數據進行清洗、標注、歸一化等處理,確保數據的質量和可用性。”
“接著是模型構建,根據任務需求選擇合適的神經網絡架構,確定模型的層數、神經元數量等參數。”
“模型訓練階段,利用反向傳播算法和合適的優化器,不斷調整模型參數,使模型在訓練集上的損失函數值逐漸減小。在訓練過程中,要合理運用剛才提到的各種技術,防止過擬合,提升模型的泛化能力。”
前世幾十年的發展時間裡,優化器自然也一直都有變化,反向傳播論文裡麵用的隨機梯度下降優化器原理相對簡單但存在明顯缺陷,不過目前其他優化器都會增加不少計算量,所以秦奕暫時沒有把其他優化器提出來。
而且他前麵介紹的幾種改進都相對比較直觀,優化器的改進顯然是要有一定的訓練經驗才能理解的,就算現在提了曆景鑠也不一定能明白。
秦奕接著說道“訓練完成後,通過在驗證集上的評估,對模型進行調優。最後,將訓練好且經過驗證的模型應用到實際任務中,並用測試集評估模型的最終性能。”
曆景鑠聽得入神,手中的筆不停地記錄著重點內容,辦公室裡彌漫著濃厚的學術探討氛圍。
在探討完模型訓練和推理的範式之後,曆景鑠又開始思考起怎麼驗證模型的能力了,秦奕提議曆景鑠從手寫體數字識彆這種相對基礎的任務開始。
與此同時,王天苗的機器人項目也在持續推進當中,他已在各個對搬運機器人有需求的領域展開了深入考察。
在工業生產領域,汽車製造工廠的搬運需求極為複雜。
車間內,要搬運的發動機、車身框架等零部件,不僅重量大,動輒幾百公斤甚至數噸,而且對搬運精度和穩定性要求極高。一旦搬運過程中出現偏差,就可能導致零部件損壞,影響整個生產線的進度。
“汽車製造這塊,對機器人的負載能力和機械結構強度挑戰太大,我們目前的技術儲備,要達到這樣的標準,難度不小。”王天苗在考察筆記中寫道。
電子電器生產車間,這裡搬運的電子元器件、電路板等,尺寸小巧且價格昂貴。
生產線上,搬運機器人的精度必須精確到毫米甚至更小的單位,否則極有可能造成元器件安裝位置錯誤,導致產品質量問題。
“電子電器領域的精度要求,以我們現階段的技術水平,實現起來成本過高,還需要投入大量時間進行技術研發和改進。”王天苗皺著眉頭,記錄下這些情況。
走進倉儲物流領域,大型倉庫和物流配送中心對搬運機器人的工作效率和路徑規劃能力提出了高要求。機器人需要在複雜的倉庫環境中,快速準確地完成貨物的出入庫和分揀任務。
“倉儲物流的工作環境複雜,對機器人的智能化和自主決策能力要求高,我們目前在這方麵的算法還不夠成熟。”王天苗認真分析著。
在危險環境作業領域,如化工生產車間和核工業相關場所,對搬運機器人的防護性能和可靠性要求近乎苛刻。這些場所的搬運任務,不僅要應對腐蝕性、放射性等危險環境,還要保證在極端條件下機器人能夠穩定運行,避免因故障引發安全事故。
“這類危險環境下的搬運機器人,研發難度太大,而且相關技術和材料的獲取也麵臨諸多限製。”王天苗無奈地搖頭。
經過多方麵的對比分析,王天苗將目光鎖定在了食品飲料加工廠。
喜歡科技革命,從1984開始請大家收藏101novel.com科技革命,從1984開始101novel.com更新速度全網最快。