[評価] - 統合自動評価基盤インストーラー開発

[k141303]

Overview

統合評価基盤のインストーラー開発用です。
インストーラーの開発・実行・テストを行います。
https://github.com/llm-jp/scripts/tree/feat/intg-eval-installer

Details

Resources

• 計算機
  • クラスタ: ABCI 3.0
  • ノード種別: H100x1
  • ノード台数: 1
• コード
  • リポジトリ: FIXME https://github.com/{org}/{repo}
  • コミット: FIXME xxxxxx
• 評価データ:
  • {name}: {physical path} FIXME llm-jp-eval-v1.3.1: cluster:/path/to/dataset
• 出力データ:
  • 保存先: {cluster}:/data/experiments/{issue_id}/evaluations FIXME
• W&B ログ:
  • https://wandb.ai/{team}/{project} FIXME
• 開始日: YYYY-MM-DD
• 終了予定日: YYYY-MM-DD