評価の実行

モデルごとの評価実験環境の分離

懸念

• examples/stablevlm.pyのように，examples/以下に全てのモデルが格納され，全てのモデルが同一の環境で実行される
• モデルによってはtransformersなどのバージョン指定が符合しない．全てのモデルが同一環境で動くとは限らない

対処

• example以下でモデルに推論させる場合：devまでパッケージを入れてもらう
• README.mdにモデルごとのtransformers の推奨バージョンを書いておく

Reference

https://github.com/llm-jp/llm-jp-eval-mm/issues/34