32GB MacBookで動く26Bパラメータのローカルコーディングエージェント「Inkling 2 Mini」 — ループドTransformerで「小さいのに深く考える」設計
DRANK

11月22日、Sebastian Castellanosが「Thinking Machines Unveils Inkling 2 Mini, A Powerful 26B Parameter AI Model That Runs Locally On MacBooks With Just 32GB RAM」と題した記事を公開した。注目すべきは、26Bパラメータという小型モデルでありながら、中間レイヤーを繰り返し通過させる「ループドTransformer」によって推論深度を高め、クラウドなしでコーディングエージェントとして実用的に動作するという組み合わせだ。32GB搭載のMacBookで動き、フライト中の機内モードでフライトシミュレータを数分で生成するデモも披露されている。

by @tf_official
Related Topics: AI Deep Learning Mac