CPUだけでも使える1ファイル版フリーの量子化省メモリローカルLLMのllamafileを入れてJava,PythonプログラムをAIに書かせてみた。Win,Mac,Linux,*BSDサポート。Dockerより簡単。ジャンクノートPCでおけ。LLM禁止職場に最適。

ARANK

マルチOS対応の1ファイル版llamafileをLinux、NetBSDで動かしてみました。VirtualBoxでもOK。SSE3必須なのでQemuだとKVMかNNVMを使わないとエラーが出ます。..