Docker运行Ollama，阿里云容器仓库中转。
一台cpu核心非常多（100+，2.2GHz+）的物理机器，实际测试下来发现跑小尺寸大模型7b效果还是非常ok的，跑32b有些困难。
一、阿里云容器仓库中转
|
1 2 3 4 5 6 7 8 9 10 11 |
# 阿里云仓库登陆，提示输入密码 docker login --username=[你的邮箱] registry.cn-hangzhou.aliyuncs.com # 将现有容器，tag打为阿里云仓库，用于推送 docker tag [ImageId] registry.cn-hangzhou.aliyuncs.com/[你的仓库]/[镜像名称]:[镜像版本号] # 推送到阿里云仓库 docker push registry.cn-hangzhou.aliyuncs.com/[你的仓库]/[镜像名称]:[镜像版本号] # 拉取从阿里云仓库 docker pull registry.cn-hangzhou.aliyuncs.com/[你的仓库]/[镜像名称]:[镜像版本号] |
二、docker运行ollama
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 |
# 假设CPU这里有160个核心，允许最大占用所有CPU核心，跑32b docker run -d \ -v /data/ollama-32b:/root/.ollama \ -p 11434:11434 \ --name ollama-32b \ --cpuset-cpus="0-159" \ -e OLLAMA_NUM_THREADS=160 \ -e OLLAMA_EXTRA_ARGS="--ctx-size 32768 --batch-size 1024 --threads 160 --no-mmap --parallel 32" \ ollama/ollama # 进入容器拉取想运行的尺寸的模型即可。 docker run -d \ -v /data/ollama-7b:/root/.ollama \ -p 11435:11434 \ --name ollama-7b \ --cpuset-cpus="0-159" \ -e OLLAMA_NUM_THREADS=160 \ -e OLLAMA_EXTRA_ARGS="--ctx-size 32768 --batch-size 1024 --threads 160 --no-mmap --parallel 32" \ ollama/ollama |
三、todo