結局、使用メモリ = モデルサイズ x OLLAMA_NUM_PARALLEL x OLLAMA_FLASH_ATTENTION x OLLAMA_KV_CACHE_TYPE x OLLAMA_CONTEXT_LENGTHなのでは。
leftside, rightside, uniside
結局、使用メモリ = モデルサイズ x OLLAMA_NUM_PARALLEL x OLLAMA_FLASH_ATTENTION x OLLAMA_KV_CACHE_TYPE x OLLAMA_CONTEXT_LENGTHなのでは。