Help: llama.cpp cmake fails to find ROCm/HIP on Ubuntu with RX 7700 XT (gfx1101)

[Quan-Robin]

Hello,

I am trying to compile llama.cpp with ROCm GPU acceleration on my system, but I'm running into an issue where cmake silently fails to enable the ROCm backend. The program compiles successfully, but runs in CPU-only mode.

My System:

GPU: AMD Radeon RX 7700 XT (reported as gfx1101 by rocminfo)

OS: Ubuntu 24.04

ROCm Version: 6.4.1

What I've Tried:

I have confirmed my user is in the render and video groups.

I have confirmed that /opt/rocm/lib/libhipblas.so exists.

I have created /etc/ld.so.conf.d/rocm.conf with the content /opt/rocm/lib and have run sudo ldconfig.

I am using the following cmake command from inside a clean build directory:

Bash

cmake .. -DCMAKE_C_COMPILER=/opt/rocm/llvm/bin/clang -DCMAKE_CXX_COMPILER=/opt/rocm/llvm/bin/clang++ -DGGML_ROCM=ON -DGGML_GPU_TARGETS=gfx1101 -DLLAMA_CURL=OFF
The Problem:
Despite all this, the cmake output (pasted below) shows no sign of finding ROCm or HIP, and only configures the CPU backend. The final llama-cli program runs but gives the "no usable GPU found" warning.

Here is my full cmake output:
(LLM) robin@robin-System-Product-Name:/media/robin/Data/AI/llama.cpp/build$ cmake .. -DCMAKE_C_COMPILER=/opt/rocm/llvm/bin/clang -DCMAKE_CXX_COMPILER=/opt/rocm/llvm/bin/clang++ -DGGML_ROCM=ON -DGGML_GPU_TARGETS=gfx1101 -DLLAMA_CURL=OFF

-- The C compiler identification is Clang 19.0.0

-- The CXX compiler identification is Clang 19.0.0

-- Detecting C compiler ABI info

-- Detecting C compiler ABI info - done

-- Check for working C compiler: /opt/rocm/llvm/bin/clang - skipped

-- Detecting C compile features

-- Detecting C compile features - done

-- Detecting CXX compiler ABI info

-- Detecting CXX compiler ABI info - done

-- Check for working CXX compiler: /opt/rocm/llvm/bin/clang++ - skipped

-- Detecting CXX compile features

-- Detecting CXX compile features - done

-- Found Git: /usr/bin/git (found version "2.43.0")

-- Performing Test CMAKE_HAVE_LIBC_PTHREAD

-- Performing Test CMAKE_HAVE_LIBC_PTHREAD - Success

-- Found Threads: TRUE

-- Warning: ccache not found - consider installing it for faster compilation or disable this warning with GGML_CCACHE=OFF

-- CMAKE_SYSTEM_PROCESSOR: x86_64

-- GGML_SYSTEM_ARCH: x86

-- Including CPU backend

-- Found OpenMP_C: -fopenmp=libomp (found version "5.1")

-- Found OpenMP_CXX: -fopenmp=libomp (found version "5.1")

-- Found OpenMP: TRUE (found version "5.1")

-- x86 detected

-- Adding CPU backend variant ggml-cpu: -march=native 

-- ggml version: 0.0.5861

-- ggml commit:  435a6d1

-- Configuring done (0.8s)

-- Generating done (0.3s)

-- Build files have been written to: /media/robin/Data/AI/llama.cpp/build

Here is my rocminfo output:
(LLM) robin@robin-System-Product-Name:/media/robin/Data/AI/llama.cpp/build$ rocminfo

ROCk module version 6.12.12 is loaded

=====================    

HSA System Attributes    

=====================    

Runtime Version:         1.15

Runtime Ext Version:     1.7

System Timestamp Freq.:  1000.000000MHz

Sig. Max Wait Duration:  18446744073709551615 (0xFFFFFFFFFFFFFFFF) (timestamp count)

Machine Model:           LARGE                              

System Endianness:       LITTLE                             

Mwaitx:                  DISABLED

XNACK enabled:           NO

DMAbuf Support:          YES

VMM Support:             YES

==========               

HSA Agents               

==========               

*******                  

Agent 1                  

*******                  

  Name:                    AMD Ryzen 5 5600 6-Core Processor  

  Uuid:                    CPU-XX                             

  Marketing Name:          AMD Ryzen 5 5600 6-Core Processor  

  Vendor Name:             CPU                                

  Feature:                 None specified                     

  Profile:                 FULL_PROFILE                       

  Float Round Mode:        NEAR                               

  Max Queue Number:        0(0x0)                             

  Queue Min Size:          0(0x0)                             

  Queue Max Size:          0(0x0)                             

  Queue Type:              MULTI                              

  Node:                    0                                  

  Device Type:             CPU                                

  Cache Info:              

    L1:                      32768(0x8000) KB                   

  Chip ID:                 0(0x0)                             

  ASIC Revision:           0(0x0)                             

  Cacheline Size:          64(0x40)                           

  Max Clock Freq. (MHz):   0                                  

  BDFID:                   0                                  

  Internal Node ID:        0                                  

  Compute Unit:            12                                 

  SIMDs per CU:            0                                  

  Shader Engines:          0                                  

  Shader Arrs. per Eng.:   0                                  

  WatchPts on Addr. Ranges:1                                  

  Memory Properties:       

  Features:                None

  Pool Info:               

    Pool 1                   

      Segment:                 GLOBAL; FLAGS: FINE GRAINED        

      Size:                    32774920(0x1f41b08) KB             

      Allocatable:             TRUE                               

      Alloc Granule:           4KB                                

      Alloc Recommended Granule:4KB                                

      Alloc Alignment:         4KB                                

      Accessible by all:       TRUE                               

    Pool 2                   

      Segment:                 GLOBAL; FLAGS: EXTENDED FINE GRAINED

      Size:                    32774920(0x1f41b08) KB             

      Allocatable:             TRUE                               

      Alloc Granule:           4KB                                

      Alloc Recommended Granule:4KB                                

      Alloc Alignment:         4KB                                

      Accessible by all:       TRUE                               

    Pool 3                   

      Segment:                 GLOBAL; FLAGS: KERNARG, FINE GRAINED

      Size:                    32774920(0x1f41b08) KB             

      Allocatable:             TRUE                               

      Alloc Granule:           4KB                                

      Alloc Recommended Granule:4KB                                

      Alloc Alignment:         4KB                                

      Accessible by all:       TRUE                               

    Pool 4                   

      Segment:                 GLOBAL; FLAGS: COARSE GRAINED      

      Size:                    32774920(0x1f41b08) KB             

      Allocatable:             TRUE                               

      Alloc Granule:           4KB                                

      Alloc Recommended Granule:4KB                                

      Alloc Alignment:         4KB                                

      Accessible by all:       TRUE                               

  ISA Info:                

*******                  

Agent 2                  

*******                  

  Name:                    gfx1101                            

  Uuid:                    GPU-507977374fde2fa1               

  Marketing Name:          AMD Radeon RX 7700 XT              

  Vendor Name:             AMD                                

  Feature:                 KERNEL_DISPATCH                    

  Profile:                 BASE_PROFILE                       

  Float Round Mode:        NEAR                               

  Max Queue Number:        128(0x80)                          

  Queue Min Size:          64(0x40)                           

  Queue Max Size:          131072(0x20000)                    

  Queue Type:              MULTI                              

  Node:                    1                                  

  Device Type:             GPU                                

  Cache Info:              

    L1:                      32(0x20) KB                        

    L2:                      4096(0x1000) KB                    

    L3:                      49152(0xc000) KB                   

  Chip ID:                 29822(0x747e)                      

  ASIC Revision:           0(0x0)                             

  Cacheline Size:          128(0x80)                          

  Max Clock Freq. (MHz):   2276                               

  BDFID:                   3328                               

  Internal Node ID:        1                                  

  Compute Unit:            54                                 

  SIMDs per CU:            2                                  

  Shader Engines:          3                                  

  Shader Arrs. per Eng.:   2                                  

  WatchPts on Addr. Ranges:4                                  

  Coherent Host Access:    FALSE                              

  Memory Properties:       

  Features:                KERNEL_DISPATCH 

  Fast F16 Operation:      TRUE                               

  Wavefront Size:          32(0x20)                           

  Workgroup Max Size:      1024(0x400)                        

  Workgroup Max Size per Dimension:

    x                        1024(0x400)                        

    y                        1024(0x400)                        

    z                        1024(0x400)                        

  Max Waves Per CU:        32(0x20)                           

  Max Work-item Per CU:    1024(0x400)                        

  Grid Max Size:           4294967295(0xffffffff)             

  Grid Max Size per Dimension:

    x                        4294967295(0xffffffff)             

    y                        4294967295(0xffffffff)             

    z                        4294967295(0xffffffff)             

  Max fbarriers/Workgrp:   32                                 

  Packet Processor uCode:: 542                                

  SDMA engine uCode::      27                                 

  IOMMU Support::          None                               

  Pool Info:               

    Pool 1                   

      Segment:                 GLOBAL; FLAGS: COARSE GRAINED      

      Size:                    12566528(0xbfc000) KB              

      Allocatable:             TRUE                               

      Alloc Granule:           4KB                                

      Alloc Recommended Granule:2048KB                             

      Alloc Alignment:         4KB                                

      Accessible by all:       FALSE                              

    Pool 2                   

      Segment:                 GLOBAL; FLAGS: EXTENDED FINE GRAINED

      Size:                    12566528(0xbfc000) KB              

      Allocatable:             TRUE                               

      Alloc Granule:           4KB                                

      Alloc Recommended Granule:2048KB                             

      Alloc Alignment:         4KB                                

      Accessible by all:       FALSE                              

    Pool 3                   

      Segment:                 GROUP                              

      Size:                    64(0x40) KB                        

      Allocatable:             FALSE                              

      Alloc Granule:           0KB                                

      Alloc Recommended Granule:0KB                                

      Alloc Alignment:         0KB                                

      Accessible by all:       FALSE                              

  ISA Info:                

    ISA 1                    

      Name:                    amdgcn-amd-amdhsa--gfx1101         

      Machine Models:          HSA_MACHINE_MODEL_LARGE            

      Profiles:                HSA_PROFILE_BASE                   

      Default Rounding Mode:   NEAR                               

      Default Rounding Mode:   NEAR                               

      Fast f16:                TRUE                               

      Workgroup Max Size:      1024(0x400)                        

      Workgroup Max Size per Dimension:

        x                        1024(0x400)                        

        y                        1024(0x400)                        

        z                        1024(0x400)                        

      Grid Max Size:           4294967295(0xffffffff)             

      Grid Max Size per Dimension:

        x                        4294967295(0xffffffff)             

        y                        4294967295(0xffffffff)             

        z                        4294967295(0xffffffff)             

      FBarrier Max Size:       32                                 

    ISA 2                    

      Name:                    amdgcn-amd-amdhsa--gfx11-generic   

      Machine Models:          HSA_MACHINE_MODEL_LARGE            

      Profiles:                HSA_PROFILE_BASE                   

      Default Rounding Mode:   NEAR                               

      Default Rounding Mode:   NEAR                               

      Fast f16:                TRUE                               

      Workgroup Max Size:      1024(0x400)                        

      Workgroup Max Size per Dimension:

        x                        1024(0x400)                        

        y                        1024(0x400)                        

        z                        1024(0x400)                        

      Grid Max Size:           4294967295(0xffffffff)             

      Grid Max Size per Dimension:

        x                        4294967295(0xffffffff)             

        y                        4294967295(0xffffffff)             

        z                        4294967295(0xffffffff)             

      FBarrier Max Size:       32                                 

*** Done ***           

Does anyone have experience with this specific setup or have any idea what part of the ROCm SDK installation or system path might be misconfigured? Any help would be greatly appreciated!