結局、使用メモリ = モデルサイズ x OLLAMA_NUM_PARALLEL x OLLAMA_FLASH_ATTENTION x OLLAMA_KV_CACHE_TYPE x OLLAMA_CONTEXT_LENGT …
カテゴリーアーカイブ: AI / LLM
ollamaのモデルのパスを変える。
シェルの環境変数OLLAMA_MODELSを設定する 参考 ollama – docs – faq – Where are models stored? | github
「はじめての深層学習（ディープラーニング）プログラミング」本とjetson nano
#$ cat /etc/lsb-release #DISTRIB_ID=Ubuntu #DISTRIB_RELEASE=18.04 #DISTRIB_CODENAME=bionic #DISTRIB_DESCRIPTIO …