NVIDIAが自宅の複数GPUにAI推論を自動分散する「PAIR」をベータ公開 — VRAMを合算するわけではないが、処理時間を約半分に短縮
DRANK

9月12日、Sergio De Simoneが「NVIDIA Personal AI Router Distributes AI Tasks Across Local Compute」と題した記事を公開した。NVIDIAがベータ公開した「PAIR(Personal AI Router)」は、自宅のローカルネットワーク上に複数のGPU搭載マシンがある場合に、AI推論リクエストを自動で振り分けるルーターだ。既存の推論サービスをそのまま活かしながら、並列ワークロードの完了時間を約半分に短縮できるという点が最大のメリットで、マルチエージェントAIを自宅環境で本格運用したいユーザーにとって注目すべきツールといえる。

by @tf_official
Related Topics: AI Machine Learning Distributed Computing