Wrong / Missing paths when installing 'globally' when using Nix?

[doronbehar]

Nix is a purely functional package manager that installs every package into it's own prefix. Nix' packages' builds produce trees like the following (for libdaemon):

/nix/store/k9gbksb3484xsr5y8f4257fw57xznimc-libdaemon-0.14
├── include
│   └── libdaemon
│       ├── daemon.h
│       ├── dexec.h
│       ├── dfork.h
│       ├── dlog.h
│       ├── dnonblock.h
│       ├── dpid.h
│       └── dsignal.h
├── lib
│   ├── libdaemon.la
│   ├── libdaemon.so -> libdaemon.so.0.5.0
│   ├── libdaemon.so.0 -> libdaemon.so.0.5.0
│   ├── libdaemon.so.0.5.0
│   └── pkgconfig
│       └── libdaemon.pc
└── share
    └── doc
        └── libdaemon
            ├── README.html
            └── style.css

7 directories, 14 files

When one specifies a dependency for a package, Nix' build scripts set environment variables such as PYTHONPATH and PKG_CONFIG_PATH so that the dependency's include directory etc will be found. For standard C packages and purely python packages it works very well.

Reading pybind's setup.py files, I tried to build pybind11 on Nix with the PYBIND11_GLOBAL_SDIST=1 environment variable, and it created the following tree:

/nix/store/13283iqw20q0zinmqr7wb2s7wzqwkjv0-python3.10-pybind11-2.10.1-armv7l-unknown-linux-gnueabihf
├── include
│   ├── pybind11
│   │   ├── attr.h
│   │   ├── buffer_info.h
│   │   ├── cast.h
│   │   ├── chrono.h
│   │   ├── common.h
│   │   ├── complex.h
│   │   ├── detail
│   │   │   ├── class.h
│   │   │   ├── common.h
│   │   │   ├── descr.h
│   │   │   ├── init.h
│   │   │   ├── internals.h
│   │   │   ├── type_caster_base.h
│   │   │   └── typeid.h
│   │   ├── eigen.h
│   │   ├── embed.h
│   │   ├── eval.h
│   │   ├── functional.h
│   │   ├── gil.h
│   │   ├── iostream.h
│   │   ├── numpy.h
│   │   ├── operators.h
│   │   ├── options.h
│   │   ├── pybind11.h
│   │   ├── pytypes.h
│   │   ├── stl
│   │   │   └── filesystem.h
│   │   ├── stl_bind.h
│   │   └── stl.h
│   └── python3.10
│       └── pybind11-global
│           └── pybind11
│               ├── attr.h
│               ├── buffer_info.h
│               ├── cast.h
│               ├── chrono.h
│               ├── common.h
│               ├── complex.h
│               ├── detail
│               │   ├── class.h
│               │   ├── common.h
│               │   ├── descr.h
│               │   ├── init.h
│               │   ├── internals.h
│               │   ├── type_caster_base.h
│               │   └── typeid.h
│               ├── eigen.h
│               ├── embed.h
│               ├── eval.h
│               ├── functional.h
│               ├── gil.h
│               ├── iostream.h
│               ├── numpy.h
│               ├── operators.h
│               ├── options.h
│               ├── pybind11.h
│               ├── pytypes.h
│               ├── stl
│               │   └── filesystem.h
│               ├── stl_bind.h
│               └── stl.h
├── lib
│   └── python3.10
│       └── site-packages
│           └── pybind11_global-2.10.1.dist-info
│               ├── direct_url.json
│               ├── INSTALLER
│               ├── LICENSE
│               ├── METADATA
│               ├── RECORD
│               ├── REQUESTED
│               ├── top_level.txt
│               └── WHEEL
├── nix-support
│   └── propagated-build-inputs
└── share
    ├── cmake
    │   └── pybind11
    │       ├── FindPythonLibsNew.cmake
    │       ├── pybind11Common.cmake
    │       ├── pybind11Config.cmake
    │       ├── pybind11ConfigVersion.cmake
    │       ├── pybind11NewTools.cmake
    │       ├── pybind11Targets.cmake
    │       └── pybind11Tools.cmake
    └── pkgconfig
        └── pybind11.pc

18 directories, 71 files

This tree doesn't include the python files, available when that environment variable is turned off:

/nix/store/flabkymr939kc0ngzfqjr1vcl71kj45g-python3.10-pybind11-2.10.1-armv7l-unknown-linux-gnueabihf
├── bin
│   └── pybind11-config
├── lib
│   └── python3.10
│       └── site-packages
│           ├── pybind11
│           │   ├── commands.py
│           │   ├── include
│           │   │   └── pybind11
│           │   │       ├── attr.h
│           │   │       ├── buffer_info.h
│           │   │       ├── cast.h
│           │   │       ├── chrono.h
│           │   │       ├── common.h
│           │   │       ├── complex.h
│           │   │       ├── detail
│           │   │       │   ├── class.h
│           │   │       │   ├── common.h
│           │   │       │   ├── descr.h
│           │   │       │   ├── init.h
│           │   │       │   ├── internals.h
│           │   │       │   ├── type_caster_base.h
│           │   │       │   └── typeid.h
│           │   │       ├── eigen.h
│           │   │       ├── embed.h
│           │   │       ├── eval.h
│           │   │       ├── functional.h
│           │   │       ├── gil.h
│           │   │       ├── iostream.h
│           │   │       ├── numpy.h
│           │   │       ├── operators.h
│           │   │       ├── options.h
│           │   │       ├── pybind11.h
│           │   │       ├── pytypes.h
│           │   │       ├── stl
│           │   │       │   └── filesystem.h
│           │   │       ├── stl_bind.h
│           │   │       └── stl.h
│           │   ├── __init__.py
│           │   ├── __main__.py
│           │   ├── __pycache__
│           │   │   ├── commands.cpython-310.pyc
│           │   │   ├── __init__.cpython-310.pyc
│           │   │   ├── __main__.cpython-310.pyc
│           │   │   ├── setup_helpers.cpython-310.pyc
│           │   │   └── _version.cpython-310.pyc
│           │   ├── py.typed
│           │   ├── setup_helpers.py
│           │   ├── share
│           │   │   ├── cmake
│           │   │   │   └── pybind11
│           │   │   │       ├── FindPythonLibsNew.cmake
│           │   │   │       ├── pybind11Common.cmake
│           │   │   │       ├── pybind11Config.cmake
│           │   │   │       ├── pybind11ConfigVersion.cmake
│           │   │   │       ├── pybind11NewTools.cmake
│           │   │   │       ├── pybind11Targets.cmake
│           │   │   │       └── pybind11Tools.cmake
│           │   │   └── pkgconfig
│           │   │       └── pybind11.pc
│           │   └── _version.py
│           └── pybind11-2.10.1.dist-info
│               ├── direct_url.json
│               ├── entry_points.txt
│               ├── INSTALLER
│               ├── LICENSE
│               ├── METADATA
│               ├── RECORD
│               ├── REQUESTED
│               ├── top_level.txt
│               └── WHEEL
└── nix-support
    └── propagated-build-inputs

16 directories, 57 files

Is this behavior on purpose? I also noticed that setting PYBIND11_GLOBAL_PREFIX to the /nix/store/.... prefix, creates an even more messed up tree:

/nix/store/ppgw0gx023lqqc5k4br1p8mmwi4knwhl-python3.10-pybind11-2.10.1-armv7l-unknown-linux-gnueabihf
├── include
│   └── python3.10
│       └── pybind11-global
│           └── pybind11
│               ├── attr.h
│               ├── buffer_info.h
│               ├── cast.h
│               ├── chrono.h
│               ├── common.h
│               ├── complex.h
│               ├── detail
│               │   ├── class.h
│               │   ├── common.h
│               │   ├── descr.h
│               │   ├── init.h
│               │   ├── internals.h
│               │   ├── type_caster_base.h
│               │   └── typeid.h
│               ├── eigen.h
│               ├── embed.h
│               ├── eval.h
│               ├── functional.h
│               ├── gil.h
│               ├── iostream.h
│               ├── numpy.h
│               ├── operators.h
│               ├── options.h
│               ├── pybind11.h
│               ├── pytypes.h
│               ├── stl
│               │   └── filesystem.h
│               ├── stl_bind.h
│               └── stl.h
├── lib
│   └── python3.10
│       └── site-packages
│           ├── nix
│           │   └── store
│           │       └── ppgw0gx023lqqc5k4br1p8mmwi4knwhl-python3.10-pybind11-2.10.1-armv7l-unknown-linux-gnueabihf
│           │           ├── include
│           │           │   └── pybind11
│           │           │       ├── attr.h
│           │           │       ├── buffer_info.h
│           │           │       ├── cast.h
│           │           │       ├── chrono.h
│           │           │       ├── common.h
│           │           │       ├── complex.h
│           │           │       ├── detail
│           │           │       │   ├── class.h
│           │           │       │   ├── common.h
│           │           │       │   ├── descr.h
│           │           │       │   ├── init.h
│           │           │       │   ├── internals.h
│           │           │       │   ├── type_caster_base.h
│           │           │       │   └── typeid.h
│           │           │       ├── eigen.h
│           │           │       ├── embed.h
│           │           │       ├── eval.h
│           │           │       ├── functional.h
│           │           │       ├── gil.h
│           │           │       ├── iostream.h
│           │           │       ├── numpy.h
│           │           │       ├── operators.h
│           │           │       ├── options.h
│           │           │       ├── pybind11.h
│           │           │       ├── pytypes.h
│           │           │       ├── stl
│           │           │       │   └── filesystem.h
│           │           │       ├── stl_bind.h
│           │           │       └── stl.h
│           │           └── share
│           │               ├── cmake
│           │               │   └── pybind11
│           │               │       ├── FindPythonLibsNew.cmake
│           │               │       ├── pybind11Common.cmake
│           │               │       ├── pybind11Config.cmake
│           │               │       ├── pybind11ConfigVersion.cmake
│           │               │       ├── pybind11NewTools.cmake
│           │               │       ├── pybind11Targets.cmake
│           │               │       └── pybind11Tools.cmake
│           │               └── pkgconfig
│           │                   └── pybind11.pc
│           └── pybind11_global-2.10.1.dist-info
│               ├── direct_url.json
│               ├── INSTALLER
│               ├── LICENSE
│               ├── METADATA
│               ├── RECORD
│               ├── REQUESTED
│               ├── top_level.txt
│               └── WHEEL
└── nix-support
    └── propagated-build-inputs

22 directories, 71 files

Note how the /nix/store/.... path is injected twice. Perhaps I misunderstood the intention of PYBIND11_GLOBAL_PREFIX?

This issue is a followup to scipy/scipy#16783 (comment) . It'd be nice to help Nix somehow get that pybind11.pc file with absolute prefix and includedir paths written in it, installed at /nix/store/...-pybind11/share/pkgconfig/pybind11.pc.

[doronbehar]

Oh, I see that without PYBIND11_GLOBAL_PREFIX, make install does cause pkgconfig files to be generated correctly! I forgot to call make install.. Sorry for the noise 😅