ollama

在使用 AMD 显卡机器 安装 ollama 跑 DeepSeek-r1 大模型时候,发现它用的是CPU和内存,导致CPU直接占用 90%,并且速度还不是很理想。于是在网上找了一些教程,发现 AMD 显卡也是可以直接跑大模型的,这里做一下记录。

一、验证 ollama 是否使用显卡

  • 查看 ollama 日志
    ollama server.log

打开 ollama 的 server.log,会发现当前amd显卡不支持,并且输出了你的显卡的类型 gfx1010 这个会用到。

  • 直接运行大模型

可以直接运行大模型,然后问它问题,查看 CPU 和 GPU 的占用。

二、教程

  1. 首先确认直接的 amd 显卡是否支持 ROCm
    访问:rocm.docs.amd.com,查看是否有你的显卡型号,如果有,再看列表后面的 HIP SDK 是否为打勾,两者满足时直接下载并安装 AMD 官方版本的 ROCm 和 Ollama 的官方版本就能使用。
    rocm.docs.amd.com

    如果不支持,就要用下面的方法

  2. 安装 ollama-for-amd
    下载地址:ollama-for-amd
    ollama-for-amd 下载
    安装前,要卸载之前安装的 ollama

  3. 下载 ROCmlibs for 6.1.2
    下载地址:ROCmlibs for 6.1.2
    rocmlibs for 6.1.2

这里下载的 rocmlib2 要根据之前看到的自己的gpu类型,如我的即:gfx1010

  1. 替换文件

解压刚才下载的 rocmlibs for 6.1.2,替换相应文件到 ollama 安装目录。

ollama 安装目录:C:\Users\更换为你的电脑用户名\AppData\Local\Programs\Ollama\lib\ollama
压缩包的rocblas.dll替换ollama安装目录下的:C:\Users\更换为你的电脑用户名\AppData\Local\Programs\Ollama\lib\ollama\rocblas.dll
压缩包中的library文件夹替换ollama安装目录下的:C:\Users\更换为你的电脑用户名\AppData\Local\Programs\Ollama\lib\ollama\rocblas\library
  1. 重启ollama

重新运行 ollama ,查看 server.log 日志

ollama 日志

这里看,已经能够显示出 GPU 的信息了。
运行大模型并且提问,发现已经能正常使用GPU进行推理了。

运行大模型