iKala 自嘲 GPU 窮人 簡立峰挺黃仁勳：臺灣適合 AI 微服務

中華電信企業客戶總經理張本元與iKala執行長程世嘉於策略投資簽約記者會合影。中華電信提供

「我們是 GPU 窮人！花了半年時間纔買到 NVIDIA 的 A6000 GPU 卡四片，兜起來後，每天都把它操到（滿），我們最近真的很害怕電費往上漲，雖然 GPU 供給和緩，但 GPU 還是非常高價的東西。」AI新創 iKala 執行長程世嘉說。

程世嘉一番話，寫實描述AI新創現在面臨的挑戰，還有更多的不足，包括臺灣市場太小，「缺乏驗證場域」，而另一大痛點在於AI GPU 迭代愈來愈快，架構也不斷變化，硬體部署的機會成本也成爲AI新創思考課題。

「電信業者除了有算力（資料中心）外，還有數據及平臺，這樣的大企業支持AI新創是方向。」前 Google 臺灣區總經理簡立峰簡立峰目前擔任 iKala 董事，而爲獲取更多驗證場域，iKala 已經走向日韓及東南亞市場。

臺灣AI新創浮上臺面，近期多家「數位雲端」股 Gogolook、科科科技等掛牌，中華電信領投 iKala 揭掛牌規劃，更引發關注，也凸顯AI新創與電信業者魚幫水、水幫魚的關係。

臺灣20年前是PC代工大國，現在則有機會變成AI Fundry（AI製造）大國嗎？簡立峰表示，當年建構的PC產業，現在迎來新一波發展，而且是全面性的，過去PC時代 CPU 不是掌握在臺灣手裡，這次AI浪潮，不只是在AI伺服器而已，邊緣端若也起來，則萬物各裝置都要AI，這就是過去所喊的 AIOT 時代實現。

這也是 NVIDIA 創辦人黃仁勳在今年 GTC 所倡議的「NVIDIA Inference Microservice」，簡稱 NIM，也就是幫客戶（AI產業）做服務，打造客製化AI模型，而其上是 NVIDIA 的 DGX Cloud 雲端，中間靠軟體工具層 NeMo 串接。

目前 NIM 已經提供20多種預訓練模型，開發者可以取用並快速調整成自己需要的專屬應用，縮短開發者打造AI模型時間，可以值得注意的是，這類應用多半是推論。

iKala 也看到相同的機會，簡立峰認爲，屬於雲端的大型應用，更需要跨國型企業利用全球數據去推動，但邊緣端的應用，尤其是對特定場域的應用，就是臺灣的機會，因爲臺灣比世界上任何國家都熟悉裝置端的硬體開發與製造，臺灣有機會實現軟硬整合可能性。

而更可以觀察是，業者擺脫 NVIDIA 的動機。中華電信自行採購硬體打造 IaaS（Infrastructure as a Service基礎設施即服務），除了跟鴻海集團鴻佰合作採購 NVIDIA 的全套硬體方案，也跟技嘉採購 AMD 的解決方案或 Google 的 TPU，「我們會找其他夥伴做出更靈活彈性的整體解決方案出來」中華電信企業客戶分公司總經理張本元說，幫客戶規劃一站式的資料中心，「我們正在兜，不會太久」。

另一方面，iKala 除了企業端考慮產業機密期望雲地整合，並讓AI在地端而非雲上運作，打造完整企業解決方案， iKala 也同樣提供類似 NVIDIA 的 Microservice（微服務）服務，讓客戶可以快速拿到「專家AI模型」，目前2年來50多位工程師已經累積超過140多個AI模型與語言模型，不僅可以辨識聽懂語言，還可以理解語意。

「未來AI模型越小越厲害，」程世嘉表示，AI模型小一點，專精一點，企業應用面越大，而 iKala 累積140多個專家模型，有情緒分析或情緒偵測或行銷、資料彙整，幫助客戶做資料的拉管。

「未來5～10年，也許我們今天看到的 GPT4大小模型，會到企業端去，發展機會非常大，也希望臺灣在邊緣端運算來臨時，有非常好的發展。」程世嘉說。

黃仁勳在GTC大會說明NVIDIA的Microservice微服務概念。截圖NVIDIA