Windowsでtransformersとbit量子化したときのbitsandbytesのエラー • snuow's brain

概要

llama-2系のモデルを扱うときにbit量子化しようとしたら、エラーが出た。

RuntimeError:
        CUDA Setup failed despite GPU being available. Please run the following command to get more information:

        python -m bitsandbytes

        Inspect the output of the command and see if you can locate CUDA libraries. You might need to add them
        to your LD_LIBRARY_PATH. If you suspect a bug, please take the information from python -m bitsandbytes
        and open an issue at: https://github.com/TimDettmers/bitsandbytes/issues

Windows環境でbitandbytesは普通にpip install bitsandbytesじゃダメみたい。

解決策

pip uninstall bitsandbytesで既存のbitsandbytesをuninstallする
pip install git+https://github.com/Keith-Hon/bitsandbytes-windows.git でWindows用のbitsandbytesをインストール
解決

参考

https://github.com/TimDettmers/bitsandbytes/issues/175