日前MLCommons公布最新人工智慧（AI）晶片評測結果，來自台灣的創鑫智慧，在做為推薦用途的AI推論（inference）晶片，每瓦處理次數上超越輝達（nVidia），這是台灣IC設計業者很少見超越世界一流大廠的成績，而且創鑫智慧成立於2019年，是一家創業才四年的小型IC設計公司，如何做到這項成就，相當引人關注。
創鑫智慧（Neuchips）創辦人為前清大教授林永隆，他也是早年與石克強、盧超群一起創辦創意電子的三位創辦人之一，公司創始團隊有七至八人，很多是林永隆教授的學生，來自創意、聯發科、聯詠、瑞昱等公司。至於Neuchips的Neu有兩個意思，一是人工智慧神經網絡（Neuro），二是創新（取其和New同音）。
創鑫智慧成立之初，曾經做了一個智慧音箱回音消除的小IP，而且也做出不錯的成績，目前已經在收取權利金。不過，後來創鑫智慧會切入AI晶片開發，是因為早期有一家創投來做投資評估時，提到這種使用端（edge）的晶片市場及規模都不大，這家創投出手都是數幾百萬美元，當時表達希望創鑫智慧選擇做大一點的題目，才願意承諾投資。
於是，創鑫智慧團隊開始尋找更大的創業題目。當時臉書（後改名Meta）積極推動開放運算計畫（Open Compute Project，OCP），目的是要重新打造開放式資料中心硬體架構，並希望與供應商一起定義硬體，提升硬體的效率、韌性和可擴充性，更重要的目標則是降低採購成本。創鑫智慧在OCP眾多提升硬體的需求中，選到推薦系統這個題目。
推薦系統耗費大量運算 「省電」成為關鍵
所謂的推薦系統，就是現在網友上各種電商、社群平台時，都不時會收到來自平台的推薦廣告及影片，平台的目的是提升用戶體驗，增加使用者黏著度，當然更重要的則是要做更多生意，廣告收入已成為所有電商社群平台最重要的獲利來源。
更進一步說，推薦系統其實就是精準行銷，是每個人上網時都逃不掉的天羅地網，系統會根據使用者瀏覽等路徑，判斷及推薦你會有興趣的內容給你，不管是推薦給你相關商品的廣告，或是相關的文章及影片。
而且，這種推薦系統需要耗費資料中心大量運算，估計占整體的六、七成運算量，因此，如何打造出一款AI加速晶片，提供更快、更準、更省電的解決方案，正是臉書這些大型資料中心客戶最迫切需要的。
創鑫智慧在評估切入市場的可行性時，也很清楚當時Google已在推自己的晶片TPU，至於臉書則採用外部的CPU及GPU，其中GPU當然是龍頭輝達的天下。這是難度很高的挑戰，創鑫智慧一家新創公司，若要做出具競爭力的產品，很難與這些大廠拼速度，只能從兼顧速度及能耗兩個目標著手，尤其是能耗這個目標更重要。
前面提到，推薦系統占資料中心六、七成運算量，是最耗能的部分，像現在當紅的ChatGPT，GPT3每做一次訓練，就要耗資超過1000萬美元，產生550萬噸的二氧化碳。許多資料中心如今都是吃電怪獸，而其中耗電的關鍵原因就是來自晶片的設計。
對於像臉書這樣的平台來說，所有的投資都要有獲利，晶片若太耗能，例如推薦一個廣告需要花1元電費，但用戶點擊後回收的廣告費只有0.5元，這種推薦絕對不可能做，因為一定會賠錢。因此，創鑫智慧確認，未來AI晶片能夠省多少電，將是決戰重點。
若以晶片絕對效能來說，創鑫智慧當然比不過國際大廠，但若目標是速度快又要省電，就有機會超越，因此，創鑫智慧便決定從不同的產品定位切入，不在速度的「高效能」上與大廠競爭，而是在省電的「高能效」上爭取突破表現。作法上則採用整合目前市場上最佳IP組合，並以FPGA模擬開出新AI推薦晶片。
力求產品競爭力 選擇昂貴的7奈米製程
當然，晶片的速度還是相當重要，最初創鑫智慧在規畫晶片速度時，就考量到每一個推薦要壓縮到150毫秒（也就是0.15秒），也就是說，電商及社群平台要在0.15秒內把推薦資料傳給用戶，如此才能讓用戶即時看到，並吸引用戶去做點擊，若推薦時間無法在0.15秒內完成，用戶的瀏覽頁面已經跳過去了，廣告商機也就不見了。
因此，為了達到0.15秒內就要完成推薦，AI晶片的運算時間更要壓縮到只有0.03到0.05秒，也就是30到50毫秒，以這樣的速度做晶片設計。可以想像，這樣的AI晶片計算速度會有多快。
此外，早在2019至2020年，創鑫智慧就決定採用當時最先進的7奈米製程，這也是很大的賭注。因為7奈米晶片開發及生產成本都很高，這是經過一番思量才做的重要決定。
據了解，台積電7奈米製程每片代工價約1.35萬美元，換算約新台幣40萬元以上，對於新創公司來說，可以說是高不可攀的天價。但考量這個晶片要達到臉書2022至2023年的採購計畫，而且一旦切入供應鏈就要繼續用3年到2026年，屆時若製程技術不夠先進，產品一定沒有競爭力，因此創鑫智慧最後就咬牙選擇昂貴的7奈米製程。
▲由國科會及經濟部扶持的創鑫智慧，為國內首家切入7奈米製程IC設計新創業者，左三為公司董事長林永隆，左一為營運長陳建良。
在產品定位清楚後，接下來就是如何執行了。新創公司資金有限，創鑫智慧初期研發人員只有十位，因此在開發IC過程中，就想辦法充分運用外部資源，例如參與前科技部長陳良基時代推動的「半導體射月計畫」，也申請經濟部AI on Chip的科專計畫補助。
另外，創鑫智慧在設計IC時，也大量運用台灣IC產業的生態系資源，例如大量授權採用美商新思（Synopsys）提供的整包矽智財IP，另外在設計服務及晶圓製造上則委託創意電子，此外在設計平台也運用工研院的資源。
創鑫智慧公司營運長陳建良說，對於新創公司來說，第一個產品絕對不能失敗，因為首戰即決戰，所以要把所有可能的問題都思考清楚，只要外部有更好的夥伴時，就採取外包合作的方式，如此創鑫智慧可以把時間及資源投入到最重要的事情上，讓晶片順利成功開發出來。
與國際一流大廠競爭 未來掛牌價值看漲
如今，創鑫智慧的AI晶片可以算是成功了，最初做建議的那家創投，後來也成了公司重要股東。但選擇這條困難的路，也讓需求資金比一般同業大很多，2019年創鑫智慧募A輪，只募資新台幣7500萬元，但後來B輪則跳升到3500萬美元，2022年B2輪再募了2000萬美元，主要投資人包括緯創旗下鼎創、凌陽創投、力積電、瑞鼎、台灣集富一號等。
創鑫智慧走向世界舞台，並且與國際一流大廠競爭，可以想像，未來掛牌上市價值也會很可觀，很可能是十億美元以上的獨角獸。當然，未來公司要投入的資金也會更多，預計接下來還會有更高額的募資計畫。
▲經濟部日前舉辦「AI on Chip科專成果發表記者會暨AITA會員交流會」，發表包括創鑫智慧在內的六項AI人工智慧晶片世界級關鍵技術。
創鑫智慧專注打造世界一流的AI晶片，不論從選題到破題，從產品定位到執行細節，都是產業界可以學習參考的對象。我認為，重點在於公司先有挑戰世界級對手的企圖心，因此選定進入障礙最高的資料中心推薦用AI晶片，之後又直接切入7奈米先進製程，成為聯發科之外，很少數採取先進製程技術的台灣IC設計公司。
此外，台灣半導體的生態系，不論從矽智財IP、IC設計服務資源，再到晶圓代工、封測等條件，其實都提供了創鑫智慧很多茁壯的養份，但團隊也是最懂得利用這些生態鏈助力的企業。很多觀念較傳統的企業，所有事情都要自己做，不放心外包及委外合作，也因此限制了自己的發展，這提供大家另一個很好的思考重點。
總結來說，對於台灣IC設計產業來說，已有很多年沒有出現像創鑫智慧這種令人眼睛為之一亮的新明星，短短幾年就在全球舞台取得不小成就，很值得將這個個案，做為台灣半導體業繼續升級發展並擴大全球影響力的一個最佳範例。
