學者觀點－算力催化生成式AI 百工百業迎來創新

未來生成式AI將應用到各行各業，不但帶來各式各樣的創新，且因生成式AI也產生更多有用的工具，降低創新門檻。圖／unsplash

今年以來受到人工智慧（AI）題材的發酵，讓上半年成長股優於傳統價值股表現，其中輝達（NVIDIA）迄今更是屢創新高。其共同創辦人暨執行長黃仁勳之前在臺大畢業典禮的演講已經掀起一股熱潮，現在他成了教父級人物，連他身上的皮夾克都是話題。

輝達最先是以遊戲顯卡起家，後來獨具慧眼的走入獨立圖形處理器（GPU）領域，創造領先地位。AI的發展，一直需要很大的算力。最近通用運算GPU（General Purpose Computing GPU，GPGPU）的出現，不僅用來處理圖形，而且協助中央處理器（CPU）分擔工作，它的應用變得更通。這也是資料中心最新發展的服務。

因此輝達今年第一季的財報5月下旬公佈時顯示貢獻最大的是「資料中心」，年增由上一季的11％加速到14％。其他三大業務：遊戲顯卡與專業視覺兩項已走出了庫存修正的階段，另較新的汽車業務產品線，增速略微放緩但仍創歷史新高。當時對第二季營收展望「輾壓」市場共識，同時預測毛利率將進一步增大，因此盤後飆漲超過26％。而最近輝達又再受惠於AI 浪潮，投資人押注其將成爲AI的大贏家，股價在6月20日又創了新高，再來就是高點小幅震盪。

算力的重要性，主要是2010年以後大數據的發展使用神經網絡的深度學習模型，在圖像識別、語音處理、自然語言處理等領域取得了顯著的成果。近幾年更進一步的發展是生成式AI，其模型剛開始利用深度學習的卷積神經網路（CNN）和循環神經網絡（RNN）及其變體，如長短期記憶（LSTM）和門控循環單元（GRU）處理序列數據，並以最大機率生成合理性的新內容。晚近更新的生成對抗網路（GAN）、變分自編碼器（VAE）和轉換器（Transformer）模型通過學習現有數據的分佈和特徵，更能夠生成與之相似的新數據。

今天在許多情況下，Transformer模型已開始取代CNN和RNN。該模型是使用注意力（attention）的數學技術，它可偵測一個系列中以微妙方式相互影響和相互依賴的資料元素，甚至是模糊的資料元素，而無須使用加上標籤的學習，讓模型在海量資料中更快速的運行。

生成式AI有名的範例就是ChatGPT。ChatGPT通過學習龐大的文本數據，能夠生成自然流暢的對話迴應，尤其它的靈活性成爲一個通用的對話AI模型，能夠適應不同的應用場景，包括客服、教育、輔助創作、技術支持、問答系統等多個領域。但背後就是使用Transformer做成的GPT3.5代模型。

就第一代GPT1模型來說，預訓練的數據量達到約5GB，使用到的參數接近1.2億。第三代GPT3預訓練的數據量暴漲達到45TB，而參數量也升級到1,750億。GPT3.5代模型，甚至今年3月公佈的GPT4，數據量及參數量一定更大，其預訓練和運行需要更大量的算力。

輝達的GPU有自己的記憶體和控制邏輯，不斷改進的硬體架構和新技術的引入，例如平行處理、向量運算，造成運算能力非常強大，早已執業界之執牛耳。尤其輝達GPU特殊的硬體加速器（如Tensor Core）和相應的軟體庫（如CUDA）讓競爭對手看不到車尾燈。這些技術能夠處理更復雜的模型和更大規模的數據量，使得訓練和推理過程更加有效率。

衆所周知，由於晶片已經進入奈米等級而達到物理的極限，摩爾定律將逐漸失效。但高科技產業因爲AI的發展，還是一片火紅。未來會怎麼走？黃仁勳說：「沒有人工智慧，我們已經無法建造出GPU 」 ，…，「以GPU爲首的加速算力已取代CPU，並在今（2023）年與生成式AI結合，未來將進入全新的運算時代」。

的確，未來生成式AI將應用到各行各業，就如早年電力的穿透，不但帶來各式各樣的創新，而且因爲生成式AI也產生更多有用的工具，降低創新的門檻。因此未來人類世界將很快達到「奇異點」：人工智慧就開始勝過人類智慧。不過這個前提還是需要有配合的算力。目前生成式AI非常需要輝達主推的加速運算，而且這個依賴，看起來還會延續很長的一段時間。