結局、使用メモリ = モデルサイズ x OLLAMA_NUM_PARALLEL x OLLAMA_FLASH_ATTENTION x OLLAMA_KV_CACHE_TYPE x OLLAMA_CONTEXT_LENGT …
カテゴリーアーカイブ: ローカルLLM
ollamaのモデルのパスを変える。
シェルの環境変数OLLAMA_MODELSを設定する 参考 ollama – docs – faq – Where are models stored? | github
leftside, rightside, uniside
結局、使用メモリ = モデルサイズ x OLLAMA_NUM_PARALLEL x OLLAMA_FLASH_ATTENTION x OLLAMA_KV_CACHE_TYPE x OLLAMA_CONTEXT_LENGT …
シェルの環境変数OLLAMA_MODELSを設定する 参考 ollama – docs – faq – Where are models stored? | github