MacのCPUのみで動く14B大規模言語モデルRWKVを試す

BRANK

Transformerは分散できる代償として計算量が爆発的に多いという不利がある。 一度みんなが忘れていたリカレントニューラルネットワーク(RNN)もボケーっとしている場合ではなかった。 なんと、GPT3並の性能を持つ、しかも完全にオープンな大規模言語モデルが公開されていた。 そのなもRWKV(RuwaKuvと発音しろと書いてある。ルワクフ?) RWKVはRNNなのでGPUメモリをそれほど大量に必要としない。 3GBのVRAMでも動くという。 それに何より完全にフリーである。 これはまさに民主化。 ただ、何日か前から挑戦していたのだが、モデルのダウンロードが全然終わら