llm-jp-eval-mmが提供するもの，ユーザの利用形式

[Silviase]

llm-jp-eval-mm（仮称）

外部パッケージへの依存をなるべく減らした評価基盤を作成する．

何を提供するか

• データセットを統一されたフォーマットでモデルに提供する．
• 統一された形式で渡されたjsonlを用いて評価し，スコアを辞書形式で提供する．

何を提供しないか

• 複数種類あるモデルの生成部分のサポート
• ?生成時のConfigの記録
• wandbなどの外部ツールとの連携

ユーザはこれをどのように利用するか

以下のようなコードで使えると嬉しいと思っている

コード

import llmjp_eval_mm

# --- load dataset (iterator) ---
cfg = parse_args() # など適当に用意
dataset = llmjp_eval_mm.prepare_task(cfg.dataset_name, cfg.metrics_name?)

# --- inference phase ---

for sample in dataset:
   # {任意にアウトプットしてもらう}

with open('hoge.jsonl', 'w') as f:
   # {形式で保存．'output'と'id'さえあればいい？}

# --- evaluation phase (単体で行える実装に) ---

# --- taskは出力に対して固有の後処理を行ってスコアを出すものも多いため，タスクごとにcompute_metricsしたい ---
with open('hoge.jsonl', 'r') as f:
   output = # jsonlをloadする

metrics: dict = llmjp_eval_mm.compute_metrics(task_name, output)

# --- あとは任意にwandbなりに自前で保存してもらう ---
# brabra...

意図

• model.generateはなるべくひとつの実装でやりたいはずなので，形式は極力データセットの前処理段階で合わせてしまう

関係する人，特に意見を求めている人

@odashi