科大訊飛：聯合華爲實現國產算力大規模跨節點專家並行集羣推理

3月11日，科大訊飛發佈消息稱，科大訊飛聯合華爲近日率先實現國產算力大規模跨節點專家並行集羣推理。據其介紹，通過分佈式架構創新與算法協同優化，單卡靜態內存佔用縮減至雙機部署的1/4，效率提升75%，專家計算密度增加4倍，推理吞吐提升3.2倍，端到端時延降低50%。這一解決方案也將應用於訊飛星火深度推理模型的訓練加速，預期訓練時推理效率將提升200%。