[マルチモーダル] Layoutlmv3 の事前学習

[AtsushiYanaigsawa768]

Overview

PublaynetやSIP3を利用した、Layoutlm v3の事前学習・ダウンストリームタスクの実行

Details

モデルカードPR: https://github.com/llm-jp/pretraining_LayoutLMv3_PubLayNet
1: Publaynetを利用した、Layoutlmv3の事前学習の実行
2: FUNSD や　Publaynet によるダウンストリームタスクの実行
3: SIP3を利用した、Layoutlmv3の事前学習の実行

Resources

• 計算機
  • クラスタ: FIXME mdx llm-jp-nvlink
  • ノード種別: FIXME A100
  • ノード台数: FIXME 1-4
• コード
  • リポジトリ: FIXME https://github.com/llm-jp/pretraining_LayoutLMv3_PubLayNet
• 入力データ:
  • {name}: llm-jp-nvlink:/data/experiments/199_layoutlmv3
• 出力データ:
  • 保存先: llm-jp-nvlink:/data/experiments/199_layoutlmv3
  • データ内訳: -1TB
    (レポジトリ、Publaynet(100-200GB) 、SIP3(画像データが必要なため) 、モデルデータ(-100GB) 、データセット(200-300GB))
• W&B ログ:
  • https://wandb.ai/{team}/{project} FIXME
• 開始日: 2025/07/18