![](https://res.cloudinary.com/techfeed/image/fetch/w_280,h_210,c_fill/https%3A%2F%2Fd2l930y2yx77uc.cloudfront.net%2Fproduction%2Fsocial_images%2F2fd94ccf7c3b0b33b4cc80b15ab52a50defd23a3.png)
MacのCPUのみで動く14B大規模言語モデルRWKVを試す
BRANK
Transformerは分散できる代償として計算量が爆発的に多いという不利がある。 一度みんなが忘れていたリカレントニューラルネットワーク(RNN)もボケーっとしている場合ではなかった。 なんと、GPT3並の性能を持つ、しかも完全にオープンな大規模言語モデルが公開されていた。 そのなもRWKV(RuwaKuvと発音しろと書いてある。ルワクフ?) RWKVはRNNなのでGPUメモリをそれほど大量に必要としない。 3GBのVRAMでも動くという。 それに何より完全にフリーである。 これはまさに民主化。 ただ、何日か前から挑戦していたのだが、モデルのダウンロードが全然終わら