創鑫智慧推出Viper生成式AI卡 打造高效能低成本AI解決方案

AI晶片領導廠商創鑫智慧（Neuchips）於2024台北國際電腦展Computex上，推出全新的Viper生成式AI卡產品；Viper生成式AI卡整合了RAG（檢索增強生成）與LLM（大型語言模型）技術，提供端到端的高效能AI解決方案，透過台積電7奈米製程，創鑫智慧也正規劃採用5奈米製程的下一代生成式AI晶片。

Viper生成式AI卡採用創鑫智慧自行設計的Raptor生成式AI晶片（N3000），運用台積電7奈米製程製造。這顆晶片內建專用的嵌入引擎和向量相似度檢索單元，可大幅提升生成式AI工作效率。整張卡片最多可支援48GB記憶體空間，足以做為企業級向量資料庫使用。

創鑫智慧執行長劉景慈表示：「Viper生成式AI卡功能強大，卻僅需35瓦的低功耗，體積也極為輕巧。企業只需將它安裝到現有的電腦或NAS系統中，便可輕鬆升級為本地端GPT解決方案，無需耗費龐大資源投入AI基礎建設。」

Viper生成式AI卡支援各種開源的中英文大型語言模型，包含台灣自主研發的TAIDE模型，確保政府機關等敏感單位在使用時，資料皆能在本地妥善保存，免除資安疑慮。

除了擁有強大的硬體效能，Viper生成式AI卡的RAG技術也是一大賣點。RAG能從外部資料庫中獲取新知，並整合至LLM推理過程，讓LLM不需頻繁重新訓練便可獲得更新資訊，大幅節省訓練成本。劉景慈說：「RAG讓LLM的資料來源不再侷限於預訓練階段，可隨時與外界接軌，推論結果自然更臻完善。」

Viper生成式AI卡輕巧好攜帶，在電腦展現場，創鑫智慧將實地展示它如何對應各種產業應用場景。企業通過合作夥伴的AI軟體優化，便能快速部署各種以RAG-LLM為基礎的AI服務系統，提升生產力競爭力。

創鑫智慧亦正研發採用台積電5奈米製程的下一代Raptor生成式AI晶片，預計將可帶來更優異的運算能力和節能表現。面對AI浪潮來襲，創鑫智慧銳意成為企業導入AI所不可或缺的合作夥伴。<摘錄工商>