Add exp004/exp005/exp006 weights, submissions, configs, docs, and logs

README.md

@@ -0,0 +1,131 @@
+---
+license: mit
+tags:
+- kaggle
+- image-retrieval
+- re-identification
+- jaguar
+- eva02
+- dinov2
+- arcface
+---
+
+# Jaguar Re-Identification - Model Artifacts
+
+Kaggle "[Jaguar Re-Identification Challenge](https://www.kaggle.com/competitions/jaguar-re-id)" コンペティションの学習済みモデル重み・サブミッション・設定ファイルのバックアップ。
+
+## Best Score
+
+**Public LB 0.948** (exp004 + exp005 weighted ensemble, w=0.7/0.3)
+
+## Contents
+
+### Model Weights (`weights/`)
+
+| Experiment | Description | LB Score | File | Size |
+|------------|-------------|----------|------|------|
+| exp004/000 | EVA-02-L-448 + GeM + ArcFace + Jaccard Rerank + Optimal Blend (10ep) | **0.946** | `weights/exp004_0938_optimal_blending/000/best_model.pth` | ~1.2GB |
+| exp005/000 | Pseudo-Labeling fine-tune on exp004 (5ep) | 0.937 | `weights/exp005_pseudo_labeling/000/best_model_finetuned.pth` | ~1.2GB |
+| exp006/001 | DINOv2 ViT-L-518 + GeM + ArcFace (20ep) | 0.925 | `weights/exp006_dinov2/001/best_model.pth` | ~1.2GB |
+
+### Submissions (`submissions/`)
+
+各実験の推論結果 CSV (baseline, TTA, rerank, optimal_blend)。
+
+### Configs (`configs/`)
+
+各実験の Hydra 設定ファイル (config.yaml + exp/*.yaml)。
+
+### Docs & Logs (`docs/`, `logs/`)
+
+- `docs/experiments.md`: 全実験結果・知見集約
+- `docs/TODO.md`: タスク管理
+- `docs/KAGGLE_DIRECTION.md`: コンペ固有ワークフロー
+- `logs/Log_*.md`: 日別開発ログ
+
+## Experiment Summary
+
+| Experiment | Backbone | Epochs | Best Loss | Accuracy | LB |
+|------------|----------|--------|-----------|----------|----|
+| exp002/000 | MegaDescriptor-B-224 | 25 | - | - | 0.781 |
+| exp003/000 | EVA-02-L-448 | 10 | - | - | 0.921 |
+| exp003/001 | EVA-02-L-448 | 20 | 0.3035 | 96.78% | 0.913 |
+| **exp004/000** | **EVA-02-L-448** | **10** | **0.1355** | **98.47%** | **0.946** |
+| exp004/001 | EVA-02-L-448 | 20 | 0.0481 | 99.42% | 0.945 |
+| exp005/000 | EVA-02-L-448 (PL) | 5 | 0.0731 | 99.20% | 0.937 |
+| exp006/000 | DINOv2-L-518 | 10 | 0.3982 | 95.14% | 0.897 |
+| exp006/001 | DINOv2-L-518 | 20 | 0.0827 | 98.94% | 0.925 |
+| exp007/000 | EVA-02-L-448 (LwLR+W+EMA) | 10 | 4.4556 | 48.94% | - |
+| exp007/001 | EVA-02-L-448 (LwLR0.95+W+EMA) | 10 | 0.3466 | 95.56% | - |
+| exp007/002 | EVA-02-L-448 (W+EMA) | 10 | 0.1904 | 97.83% | - |
+| **Ensemble** | **exp004+exp005 (w0.7/0.3)** | - | - | - | **0.948** |
+
+## Key Insights
+
+- **EVA-02 Large 448px** が最も効果的なバックボーン (MegaDescriptor-B-224 比 LB +0.140)
+- **Jaccard Re-ranking + Optimal Blending** (20% raw + 80% reranked) が後処理として有効
+- **20ep 延長学習は微小改善〜悪化**: exp003は悪化 (0.921→0.913)、exp004はほぼ同等 (0.946→0.945)
+- **Layer-wise LR Decay は EVA-02 Large に有害**: decay_rate=0.95 でも全層同一LR に劣る
+- **Warmup + EMA は微小劣化**: 10ep では warmup の序盤学習遅延を回収しきれない
+
+## Reproduction
+
+### Code
+
+```bash
+git clone git@github.com:nawta/Jaguar_Re_Identification.git
+cd Jaguar_Re_Identification
+git checkout lb-0.948
+```
+
+### Environment
+
+```bash
+# Python environment
+uv sync
+
+# or Docker
+make build && make bash
+```
+
+### Data
+
+Competition data is NOT included. Download from Kaggle:
+
+```bash
+kaggle competitions download -c jaguar-re-id
+unzip jaguar-re-id.zip -d input/
+```
+
+### Training
+
+```bash
+# Best single model (exp004)
+uv run python -m experiments.exp004_0938_optimal_blending.run exp=000
+
+# Pseudo-labeling (exp005, requires exp004 weights)
+uv run python -m experiments.exp005_pseudo_labeling.run exp=000
+
+# DINOv2 (exp006)
+uv run python -m experiments.exp006_dinov2.run exp=000
+```
+
+### Ensemble (LB 0.948)
+
+exp004 と exp005 の submission.csv を weighted average (w=0.7/0.3) で結合:
+
+```python
+import pandas as pd
+df004 = pd.read_csv("output/experiments/exp004_0938_optimal_blending/000/submission.csv")
+df005 = pd.read_csv("output/experiments/exp005_pseudo_labeling/000/submission.csv")
+df_ens = df004.copy()
+df_ens["score"] = 0.7 * df004["score"] + 0.3 * df005["score"]
+df_ens.to_csv("submission_ensemble.csv", index=False)
+```
+
+## Not Included
+
+- **Competition input data** (`input/`, ~17GB): Re-download via `kaggle competitions download -c jaguar-re-id`
+- **Inferior model weights**: exp002 (LB 0.781), exp003 (LB 0.921), exp007 (exp004 以下)
+- **Python virtual environment** (`.venv/`): Recreate via `uv sync`
+- **wandb logs**: Synced to [wandb.ai/nawta1998/jaguar-re-identification](https://wandb.ai/nawta1998/jaguar-re-identification)

configs/exp004/000.yaml

@@ -0,0 +1,31 @@
+defaults:
+  - default@_here_ # defaultの値を設定してから上書きする
+
+# 0.938 ノートブック設定 (EVA-02 Large, FC層なし, Jaccard re-ranking)
+backbone: "eva02_large_patch14_448.mim_m38m_ft_in22k_in1k"
+image_size: 448
+num_classes: 31
+
+epochs: 10
+batch_size: 4
+num_workers: 2
+learning_rate: 0.00002
+weight_decay: 0.001
+
+arcface_scale: 30.0
+arcface_margin: 0.5
+
+use_amp: true
+gradient_accumulation: 4
+max_grad_norm: 1.0
+gradient_checkpointing: true
+
+inference_batch_size: 8
+use_tta: true
+use_qe: true
+qe_top_k: 3
+use_rerank: true
+rerank_k1: 20
+rerank_k2: 6
+rerank_lambda: 0.2
+blend_raw_ratio: 0.20

configs/exp004/001.yaml

@@ -0,0 +1,36 @@
+defaults:
+  - default@_here_ # defaultの値を設定してから上書きする
+
+# EVA-02 Large - 20エポック (チェックポイント再開)
+# exp=000 (10ep, Best Loss 0.1355 @ep10) から再開して 20ep まで学習
+backbone: "eva02_large_patch14_448.mim_m38m_ft_in22k_in1k"
+image_size: 448
+num_classes: 31
+
+epochs: 20
+batch_size: 4
+num_workers: 2
+learning_rate: 0.00002
+weight_decay: 0.001
+
+arcface_scale: 30.0
+arcface_margin: 0.5
+
+use_amp: true
+gradient_accumulation: 4
+max_grad_norm: 1.0
+gradient_checkpointing: true
+
+# チェックポイント再開設定
+resume_from: "/home/naoto/workspace/Kaggle/Jaguar_Re_Identification/output/experiments/exp004_0938_optimal_blending/000/best_model.pth"
+start_epoch: 10  # epoch 10 (0-indexed) = epoch 11 から再開
+
+inference_batch_size: 8
+use_tta: true
+use_qe: true
+qe_top_k: 3
+use_rerank: true
+rerank_k1: 20
+rerank_k2: 6
+rerank_lambda: 0.2
+blend_raw_ratio: 0.20

configs/exp004/config.yaml

@@ -0,0 +1,14 @@
+defaults:
+  - _self_
+  # defaultはpythonスクリプト中で登録する
+  - exp: default
+  - env: default
+  # hydraで自動的にログファイルが生成されるのを防ぐ
+  - override hydra/job_logging: none
+
+hydra:
+  output_subdir: null
+  job:
+    chdir: False
+  run:
+    dir: .

configs/exp005/000.yaml

@@ -0,0 +1,43 @@
+defaults:
+  - default@_here_ # defaultの値を設定してから上書きする
+
+# ベースモデル (exp004 と同一)
+backbone: "eva02_large_patch14_448.mim_m38m_ft_in22k_in1k"
+image_size: 448
+num_classes: 31
+
+# Phase 1: ベースモデル (exp004 の checkpoint をロード)
+base_model_path: "output/experiments/exp004_0938_optimal_blending/000/best_model.pth"
+epochs: 10          # ベースモデル学習 (base_model_path がある場合はスキップ)
+
+# Pseudo-Labeling 設定
+pseudo_threshold: 0.90
+pseudo_max_per_class: 500
+
+# Phase 2: Fine-tuning 設定
+finetune_epochs: 5
+finetune_learning_rate: 0.00001
+
+# Augmentation
+use_strong_augmentation: true
+
+# 共通設定 (exp004 と同一)
+batch_size: 4
+num_workers: 2
+learning_rate: 0.00002
+weight_decay: 0.001
+arcface_scale: 30.0
+arcface_margin: 0.5
+use_amp: true
+gradient_accumulation: 4
+max_grad_norm: 1.0
+gradient_checkpointing: true
+inference_batch_size: 8
+use_tta: true
+use_qe: true
+qe_top_k: 3
+use_rerank: true
+rerank_k1: 20
+rerank_k2: 6
+rerank_lambda: 0.2
+blend_raw_ratio: 0.20

configs/exp005/config.yaml

@@ -0,0 +1,14 @@
+defaults:
+  - _self_
+  # defaultはpythonスクリプト中で登録する
+  - exp: default
+  - env: default
+  # hydraで自動的にログファイルが生成されるのを防ぐ
+  - override hydra/job_logging: none
+
+hydra:
+  output_subdir: null
+  job:
+    chdir: False
+  run:
+    dir: .

configs/exp006/000.yaml

@@ -0,0 +1,31 @@
+defaults:
+  - default@_here_ # defaultの値を設定してから上書きする
+
+# DINOv2 ViT-Large (register tokens 付き)
+backbone: "vit_large_patch14_reg4_dinov2.lvd142m"
+image_size: 518
+num_classes: 31
+
+epochs: 10
+batch_size: 4
+num_workers: 2
+learning_rate: 0.00002
+weight_decay: 0.001
+
+arcface_scale: 30.0
+arcface_margin: 0.5
+
+use_amp: true
+gradient_accumulation: 4
+max_grad_norm: 1.0
+gradient_checkpointing: true
+
+inference_batch_size: 8
+use_tta: true
+use_qe: true
+qe_top_k: 3
+use_rerank: true
+rerank_k1: 20
+rerank_k2: 6
+rerank_lambda: 0.2
+blend_raw_ratio: 0.20

configs/exp006/001.yaml

@@ -0,0 +1,36 @@
+defaults:
+  - default@_here_ # defaultの値を設定してから上書きする
+
+# DINOv2 ViT-Large - 20エポック (チェックポイント再開)
+# exp=000 (10ep, Best Loss 0.3982 @ep9) から再開して 20ep まで学習
+backbone: "vit_large_patch14_reg4_dinov2.lvd142m"
+image_size: 518
+num_classes: 31
+
+epochs: 20
+batch_size: 4
+num_workers: 2
+learning_rate: 0.00002
+weight_decay: 0.001
+
+arcface_scale: 30.0
+arcface_margin: 0.5
+
+use_amp: true
+gradient_accumulation: 4
+max_grad_norm: 1.0
+gradient_checkpointing: true
+
+# チェックポイント再開設定
+resume_from: "/home/naoto/workspace/Kaggle/Jaguar_Re_Identification/output/experiments/exp006_dinov2/000/best_model.pth"
+start_epoch: 10  # epoch 10 (0-indexed) = epoch 11 から再開
+
+inference_batch_size: 8
+use_tta: true
+use_qe: true
+qe_top_k: 3
+use_rerank: true
+rerank_k1: 20
+rerank_k2: 6
+rerank_lambda: 0.2
+blend_raw_ratio: 0.20

configs/exp006/config.yaml

@@ -0,0 +1,14 @@
+defaults:
+  - _self_
+  # defaultはpythonスクリプト中で登録する
+  - exp: default
+  - env: default
+  # hydraで自動的にログファイルが生成されるのを防ぐ
+  - override hydra/job_logging: none
+
+hydra:
+  output_subdir: null
+  job:
+    chdir: False
+  run:
+    dir: .

configs/exp007/000.yaml

@@ -0,0 +1,45 @@
+defaults:
+  - default@_here_ # defaultの値を設定してから上書きする
+
+# exp007: 学習戦略改善 (Layer-wise LR + Warmup + EMA)
+# ベース: exp004/000 (EVA-02 Large, 10ep, LB 0.946)
+backbone: "eva02_large_patch14_448.mim_m38m_ft_in22k_in1k"
+image_size: 448
+num_classes: 31
+
+epochs: 10
+batch_size: 4
+num_workers: 2
+learning_rate: 0.00002
+weight_decay: 0.001
+
+arcface_scale: 30.0
+arcface_margin: 0.5
+
+use_amp: true
+gradient_accumulation: 4
+max_grad_norm: 1.0
+gradient_checkpointing: true
+
+# 新機能: Layer-wise LR Decay
+use_layerwise_lr: true
+lr_decay_rate: 0.75
+
+# 新機能: Linear Warmup + Cosine Decay
+use_warmup: true
+warmup_epochs: 1.0
+
+# 新機能: EMA
+use_ema: true
+ema_decay: 0.999
+
+# 推論 (exp004 と同一)
+inference_batch_size: 8
+use_tta: true
+use_qe: true
+qe_top_k: 3
+use_rerank: true
+rerank_k1: 20
+rerank_k2: 6
+rerank_lambda: 0.2
+blend_raw_ratio: 0.20

configs/exp007/001.yaml

@@ -0,0 +1,46 @@
+defaults:
+  - default@_here_ # defaultの値を設定してから上書きする
+
+# exp007/001: lr_decay_rate=0.95 (穏やかな Layer-wise LR) + Warmup + EMA
+# exp=000 の lr_decay_rate=0.75 が aggressive すぎて大幅劣化 → 0.95 に緩和
+# 0.95^26 ≈ 0.264 → 最浅層 LR = 2e-5 * 0.264 ≈ 5.3e-6 (十分な学習が可能)
+backbone: "eva02_large_patch14_448.mim_m38m_ft_in22k_in1k"
+image_size: 448
+num_classes: 31
+
+epochs: 10
+batch_size: 4
+num_workers: 2
+learning_rate: 0.00002
+weight_decay: 0.001
+
+arcface_scale: 30.0
+arcface_margin: 0.5
+
+use_amp: true
+gradient_accumulation: 4
+max_grad_norm: 1.0
+gradient_checkpointing: true
+
+# Layer-wise LR Decay (穏やかに)
+use_layerwise_lr: true
+lr_decay_rate: 0.95
+
+# Linear Warmup + Cosine Decay
+use_warmup: true
+warmup_epochs: 1.0
+
+# EMA
+use_ema: true
+ema_decay: 0.999
+
+# 推論 (exp004 と同一)
+inference_batch_size: 8
+use_tta: true
+use_qe: true
+qe_top_k: 3
+use_rerank: true
+rerank_k1: 20
+rerank_k2: 6
+rerank_lambda: 0.2
+blend_raw_ratio: 0.20

configs/exp007/002.yaml

@@ -0,0 +1,46 @@
+defaults:
+  - default@_here_ # defaultの値を設定してから上書きする
+
+# exp007/002: Layer-wise LR OFF + Warmup + EMA (ablation)
+# exp004 と同じ全層同一LR に、Warmup + EMA のみ追加
+# Layer-wise LR の効果を分離して検証
+backbone: "eva02_large_patch14_448.mim_m38m_ft_in22k_in1k"
+image_size: 448
+num_classes: 31
+
+epochs: 10
+batch_size: 4
+num_workers: 2
+learning_rate: 0.00002
+weight_decay: 0.001
+
+arcface_scale: 30.0
+arcface_margin: 0.5
+
+use_amp: true
+gradient_accumulation: 4
+max_grad_norm: 1.0
+gradient_checkpointing: true
+
+# Layer-wise LR Decay: OFF (全層同一LR = exp004と同等)
+use_layerwise_lr: false
+lr_decay_rate: 0.95
+
+# Linear Warmup + Cosine Decay
+use_warmup: true
+warmup_epochs: 1.0
+
+# EMA
+use_ema: true
+ema_decay: 0.999
+
+# 推論 (exp004 と同一)
+inference_batch_size: 8
+use_tta: true
+use_qe: true
+qe_top_k: 3
+use_rerank: true
+rerank_k1: 20
+rerank_k2: 6
+rerank_lambda: 0.2
+blend_raw_ratio: 0.20

configs/exp007/config.yaml

@@ -0,0 +1,14 @@
+defaults:
+  - _self_
+  # defaultはpythonスクリプト中で登録する
+  - exp: default
+  - env: default
+  # hydraで自動的にログファイルが生成されるのを防ぐ
+  - override hydra/job_logging: none
+
+hydra:
+  output_subdir: null
+  job:
+    chdir: False
+  run:
+    dir: .

docs/KAGGLE_DIRECTION.md

@@ -0,0 +1,123 @@
+# KAGGLE_DIRECTION: コンペティション ワークフロー
+
+## 対象コンペ情報
+
+- **コンペ名**: Jaguar Re-Identification
+- **URL**: （ここに記入）
+- **期間**: （ここに記入）
+- **評価指標**: （ここに記入）
+
+## ディレクトリ構造ガイド
+
+```text
+Jaguar_Re_Identification/
+├── competition/           # コンペ情報（EDA結果、類似コンペ調査）
+│   ├── overview.md        #   コンペ概要・EDAまとめ
+│   └── related_competitions.md  #   類似コンペの知見
+│
+├── survey/                # 調査蓄積
+│   ├── papers/            #   論文調査
+│   └── discussion/        #   ディスカッション定点観測
+│
+├── experiments/           # 実験コード
+│   ├── exp{NNN}_{名前}/   #   人間用実験
+│   └── exp{A-Z}{NN}_{名前}/  #   Claude用実験
+│
+├── docs/
+│   └── experiments.md     # 実験記録 & 知見集約
+│
+├── input/                 # 入力データ
+├── output/                # 実験出力
+├── notebooks/             # Jupyter notebooks
+├── tools/                 # ユーティリティツール
+└── utils/                 # 共通ユーティリティ
+```
+
+## 実験フォルダ命名規則
+
+### 人間用実験
+`experiments/exp{NNN}_{実験名}/`
+- `NNN`: 3桁の数字（000, 001, 002, ...）
+- 例: `exp001_baseline`, `exp002_feature_engineering`
+
+### Claude用実験
+`experiments/exp{A-Z}{NN}_{実験名}/`
+- `{A-Z}`: アルファベット1文字。方針変更時にインクリメント（A→B→C...）
+- `{NN}`: 2桁の数字。同一方針内の実験番号（00, 01, 02, ...）
+- 例: `expA00_baseline`, `expA01_add_features`, `expB00_new_approach`
+
+### minor バージョン（exp/ 配下の yaml）
+- 各実験フォルダ内の `exp/` ディレクトリに配置
+- `exp/{NNN}.yaml` で管理（000, 001, 002, ...）
+
+## セッション記録ルール
+
+各実験フォルダには `SESSION_NOTES.md` を必ず配置する。
+
+### SESSION_NOTES.md の構造
+
+```markdown
+# SESSION_NOTES: {実験名}
+
+## セッション N
+- **日付**: YYYY-MM-DD
+- **目標**: （このセッションで達成したいこと）
+
+### 仮説
+### 試したアプローチと結果（定量値含む）
+### ファイル構成
+### 重要な知見
+### 次のステップ
+### 性能変化の記録
+### コマンド履歴
+```
+
+### 運用ルール
+- セッション開始時に新しいセッションセクションを追加
+- 実験結果は定量値（CV, LB スコア）を必ず記録
+- セッション終了時に「次のステップ」を記入し、次回セッションの引き継ぎに使う
+
+## コンペ進行方法
+
+### 1. EDA フェーズ
+1. データを `input/` に配置
+2. `notebooks/` で EDA を実施
+3. 結果を `competition/overview.md` にまとめる
+
+### 2. 調査フェーズ
+1. 類似コンペの上位解法を調査 → `competition/related_competitions.md`
+2. 関連論文を調査 → `survey/papers/`
+3. Kaggle Discussion を定期的に確認 → `survey/discussion/`
+
+### 3. ベースライン構築
+1. 最初の実験フォルダを作成（例: `exp001_baseline` or `expA00_baseline`）
+2. シンプルなモデルで End-to-End パイプラインを構築
+3. CV と LB の相関を確認
+
+### 4. 改善サイクル
+1. 仮説を立てる → SESSION_NOTES.md に記録
+2. 実験を実施 → 結果を記録
+3. 知見を `docs/experiments.md` に集約
+4. 次の仮説を立てる
+
+## 学習コードの要件
+
+- **学習ログ**: wandb で損失値、評価指標、学習率を記録
+- **途中再開**: チェックポイントからの再開をサポート（長時間学習の場合）
+- **AMP (Automatic Mixed Precision)**: GPU メモリ効率化のため推奨
+- **シード固定**: 再現性のため `seed` を設定で管理
+
+## survey/ の運用ガイド
+
+### 論文調査 (`survey/papers/`)
+- 詳細は `survey/papers/README.md` を参照
+- ファイル命名: `{YYYY}_{著者名}_{短縮タイトル}.md`
+
+### ディスカッション定点観測 (`survey/discussion/`)
+- 詳細は `survey/discussion/README.md` を参照
+- JSON スクレイピングデータは gitignore 対象
+
+## competition/ の運用ガイド
+
+- `competition/overview.md`: EDA 結果のまとめ。コンペ開始時に記入。
+- `competition/related_competitions.md`: 類似コンペの調査結果。ベースライン構築前に記入。

docs/TODO.md

@@ -0,0 +1,94 @@
+# TODO
+
+## 現在実行中
+
+(なし)
+
+## 実装完了
+- [x] exp001_baseline: run.py 実装 (JaguarDataset, EmbeddingModel, ArcFaceHead, train, validate, generate_submission)
+- [x] exp001_baseline: config.yaml, exp/000.yaml (zero_shot), exp/001.yaml (arcface)
+- [x] pyproject.toml に timm 追加
+- [x] docs/experiments.md 作成
+- [x] exp002_public_baseline: 公開ノートブックベースラインの実装
+- [x] pyproject.toml に albumentations 追加
+- [x] exp002_public_baseline: デバッグモード動作確認 (3エポック正常完了)
+- [x] exp002_public_baseline: exp=000 通常モード完了 (25エポック, LB 0.781)
+- [x] exp003_eva02_baseline: EVA-02 Large ベースライン実装
+- [x] exp003_eva02_baseline: デバッグモード動作確認完了 (3エポック正常完了)
+- [x] exp003_eva02_baseline: exp=000 通常モード完了 (10エポック, LB 0.921)
+- [x] exp004_0938_optimal_blending: 0.938 NB 実装 (run.py, config, exp/000.yaml)
+- [x] exp004_0938_optimal_blending: デバッグモード動作確認完了 (3エポック正常完了)
+- [x] exp004_0938_optimal_blending: exp=000 通常モード完了 (10エポック, Loss 0.1355, Acc 98.47%, LB 0.946)
+- [x] exp005_pseudo_labeling: 通常モード実行完了 (5ep fine-tune, Loss 0.0731, Acc 99.20%, LB 0.937)
+- [x] ensemble exp004+005 weighted 0.7/0.3: LB 0.948 (現ベスト)
+- [x] 4モデル並列コードレビュー (exp003/004/005 改善可能性分析)
+- [x] exp006_dinov2: 実装・デバッグ・通常モード完了 (10ep, Best Loss 0.3982, Acc 95.14%, LB 提出待ち)
+- [x] exp006_dinov2: exp=001 通常モード完了 (20ep, Best Loss 0.0827 @ep19, Acc 98.94%, LB 0.925)
+- [x] exp006_dinov2: LB 提出完了 (exp=000: LB 0.897, exp=001: LB 0.925)
+- [x] exp003_eva02_baseline: exp=001 通常モード完了 (20ep, Best Loss 0.3035, Acc 96.78%, **LB 0.913** ← 10ep 0.921より悪化)
+- [x] exp004_0938_optimal_blending: exp=001 通常モード完了 (20ep, Best Loss 0.0481 @ep19, Acc 99.42%, **LB 0.945** ← 10ep 0.946とほぼ同等)
+- [x] exp007_improved_training: 実装・デバッグ・通常モード完了 (10ep, Best Loss 4.4556, Acc 48.94%, LB 提出済み) ← **大幅劣化**: lr_decay_rate=0.75が aggressive すぎてbackbone学習不足
+
+## 実装中
+(なし)
+
+## 実装予定
+
+### 優先度1: exp003/exp004 20ep 延長学習
+- [x] exp003_eva02_baseline: チェックポイント再開実装
+- [x] exp003_eva02_baseline: exp=001 通常モード (20ep) → LB 提出済み
+- [x] exp004_0938_optimal_blending: チェックポイント再開実装
+- [x] exp004_0938_optimal_blending: exp=001 通常モード (20ep) → LB 提出済み
+- [x] exp004/exp006 アンサンブル検証完了 (2-model best: w80/20 LB 0.947, 3-model best: w50/30/20 LB 0.948 → 現ベスト0.948と同等、超えられず)
+
+### 優先度2: exp007 改良版 - 学習戦略改善 (Layer-wise LR + Warmup + EMA)
+- [x] exp007: Layer-wise LR Decay (backbone浅い層: 小LR, head: 大LR)
+- [x] exp007: Linear Warmup + Cosine Decay scheduler (per-step)
+- [x] exp007: EMA (Exponential Moving Average, decay=0.999, timm ModelEmaV2)
+- [x] exp007: デバッグモード動作確認完了 (3ep正常完了)
+- [x] exp007: 通常モード実行完了・LB 提出済み (10ep, Loss 4.4556, Acc 48.94%, **大幅劣化**)
+- [x] exp007: exp=001 lr_decay_rate=0.95 + Warmup + EMA → Loss 0.3466, Acc 95.56% (exp004以下)
+- [x] exp007: exp=002 Layer-wise LR OFF + Warmup + EMA → Loss 0.1904, Acc 97.83% (exp004以下)
+- **結論**: Layer-wise LR / Warmup / EMA いずれも exp004 ベースラインを超えられず
+
+### 優先度3: Pseudo-Labeling 改善
+- [ ] PL改善: Soft label 化 (KL-divergence loss, 温度T=2~4)
+- [ ] PL改善: Pseudo loss weight (0.2~0.5 で重み付け)
+- [ ] PL改善: 品質フィルタ強化 (top1-top2 margin / mutual NN 条件)
+- [ ] PL改善: Iterative PL (高閾値→緩和を段階的に)
+- [ ] PL改善: Backbone freeze での fine-tune
+
+### 優先度4: 後処理改善
+- [ ] Database Augmentation (DBA): 訓練画像1,895枚のembeddingもgalleryに追加しQE/rerank
+- [ ] Re-ranking パラメータ探索: k1=[15,20,25], lambda=[0.15,0.2,0.25,0.3], blend=[0.1,0.15,0.2,0.3]
+- [ ] k-reciprocal 完全版実装: exp004のJaccard実装のk2パラメータ(V行列平滑化)を有効化
+- [ ] alpha-QE (重み付きQuery Expansion): weight_i = sim_i^alpha (alpha=2~3)
+- [ ] Embedding レベルアンサンブル: score average ではなく embedding concat/average → rerank
+
+### 優先度5: モデルアーキテクチャ改善
+- [ ] Sub-center ArcFace (K=2~3): クラス内バリエーション対応
+- [ ] AdaFace (quality-adaptive margin): 画像品質に応じたマージン調整
+- [ ] ArcFace margin scheduling: 学習序盤 margin=0.1 → 0.5 まで漸増
+- [ ] Triplet Loss + PK Sampler: ArcFace に加えて Triplet Loss を補助追加
+- [ ] Multi-scale pooling: GeM(p=1) + GeM(p=3) + MaxPool を concat
+- [ ] GeM + CLS token concat: CLS トークンも活用
+- [ ] Dropout before ArcFace: BN と ArcFace 間に Dropout(0.1~0.3)
+
+### 優先度6: データ拡張改善
+- [ ] RandomResizedCrop(448, scale=(0.75, 1.0)): 部分模様の識別力向上
+- [ ] RandomPerspective(distortion_scale=0.2, p=0.3): 視点変化ロバスト性
+- [ ] GridMask / CoarseDropout: 構造的遮蔽パターン
+- [ ] Augmentation 強度調整: degrees=20~30, ColorJitter強度増加
+
+### 優先度7: その他改善
+- [ ] K-Fold CV (Stratified 5-fold): fold ensemble + 信頼性のある評価
+- [ ] Multi-seed アンサンブル: seed=42, 123, 777 で3回学習 → embedding 平均
+- [ ] Multi-scale 推論: 384/448/512 の3スケールで embedding 抽出し平均
+- [ ] 入力解像度向上: 448 → 560px (position embedding 補間)
+- [ ] Backbone Freezing + Gradual Unfreezing: 最初数エポックは backbone フリーズ
+- [ ] Part-based Re-ID: 画像を水平2~3分割し部分特徴量抽出
+- [ ] 外部データ活用: iNaturalist Jaguar, LeopardID 等 (ルール確認要)
+
+### 保留
+- [ ] exp001_baseline: GPU 空き次第 exp=000 (zero-shot) を実行して動作確認
+- [ ] exp001_baseline: exp=001 (ArcFace fine-tune) を実行

docs/experiments.md

@@ -0,0 +1,334 @@
+# 実験記録 & 知見集約
+
+## 実験一覧
+
+| 実験フォルダ | 所有者 | 概要 | CV | LB | 主な知見 |
+|------------|--------|------|----|----|---------|
+| exp000_sample | 人間 | サンプル実験。テンプレートの動作確認用。 | - | - | - |
+| exp001_baseline | 人間 | MegaDescriptor ベースライン | - | - | GPU メモリ制約に注意 |
+| exp002_public_baseline | 人間 | 公開ノートブックベースライン (MegaDescriptor-B-224 + Sub-center ArcFace) | - | 0.781 | - |
+| exp003_eva02_baseline | Claude | EVA-02 Large ベースライン (EVA-02-L-448 + GeM + Standard ArcFace) | - | 0.921 | 大規模 backbone が効果大 |
+| exp004_0938_optimal_blending | Claude | 0.938 NB 実装 (FC層削除 + Jaccard rerank + Optimal Blending) | - | 0.946 | exp003 ベース、公開NB差分適用、元NB 0.938 を超過 |
+| exp005_pseudo_labeling | Claude | Pseudo-Labeling (exp004ベース + テスト画像擬似ラベル fine-tuning) | - | 0.937 | exp004比 -0.009 悪化、embedding識別力低下 |
+| exp006_dinov2 | Claude | DINOv2 ViT-L backbone (異種モデルアンサンブル用) | - | 提出待ち | 000: 10ep Best Loss 0.3982 @ep9, 001: 20ep Best Loss 0.0827 @ep19, Acc 98.94% |
+| exp007_improved_training | Claude | 学習戦略改善 (Layer-wise LR + Warmup + EMA) | - | 提出済み | **結論**: 3改善いずれも exp004 ベースライン超えられず (best: 002 Loss 0.1904, Acc 97.83%) |
+
+### exp000_sample
+
+テンプレート確認用のサンプル実験。実質的な処理は行わない。
+
+| minor version | 説明 | CV | LB |
+|---|---|---|---|
+| 000 | seed=0, folds=[0] | - | - |
+| 001 | seed=634 | - | - |
+
+### exp001_baseline
+
+MegaDescriptor を使ったジャガー再識別ベースライン。
+
+| minor version | mode | 説明 | 主要パラメータ | CV | LB |
+|---|---|---|---|---|---|
+| 000 | zero_shot | 事前学習済みモデルのみ (学習なし) | model=MegaDescriptor-L-384, image_size=384 | - | - |
+| 001 | arcface | ArcFace fine-tune (31クラス分類) | epochs=10, batch_size=16, lr=1e-4, scale=30, margin=0.5 | - | - |
+
+#### 実行コマンド
+
+```bash
+# Zero-shot
+uv run python -m experiments.exp001_baseline.run exp=000
+
+# ArcFace fine-tune
+uv run python -m experiments.exp001_baseline.run exp=001
+
+# デバッグモード (wandb無効)
+uv run python -m experiments.exp001_baseline.run exp=000 exp.debug=true
+```
+
+#### 設定ファイルの場所
+
+- 共通設定: `experiments/exp001_baseline/config.yaml`
+- 実験別設定: `experiments/exp001_baseline/exp/000.yaml`, `001.yaml`
+- デフォルト値: `experiments/exp001_baseline/run.py` 内の `ExpConfig` dataclass
+
+### exp002_public_baseline
+
+公開ノートブック ([ibrahimqasimi/jaguar-re-identification-challenge-baseline](https://www.kaggle.com/code/ibrahimqasimi/jaguar-re-identification-challenge-baseline)) をベースにした実験。
+
+exp001 との主な違い:
+- Backbone: MegaDescriptor-B-224 (exp001: L-384)
+- ArcFace: Sub-center (k=2) (exp001: Standard)
+- Loss: Focal Loss (gamma=2.0) (exp001: CrossEntropy)
+- Augmentation: albumentations (多数) (exp001: 基本的)
+- Neck: 2層 MLP + BN + PReLU (exp001: なし)
+- Class Balancing: WeightedRandomSampler (exp001: なし)
+- AMP + Gradient Accumulation (exp001: なし)
+- 推論: TTA, k-reciprocal re-ranking, calibration, ensemble (exp001: cosine類似度のみ)
+
+| minor version | 説明 | 主要パラメータ | CV | LB |
+|---|---|---|---|---|
+| 000 | 公開ノートブックデフォルト設定 | backbone=B-224, epochs=25, bs=8, accum=4, lr=2e-4, subcenter_k=2 | - | - |
+
+#### 実行コマンド
+
+```bash
+# 通常実行
+uv run python -m experiments.exp002_public_baseline.run exp=000
+
+# デバッグモード (wandb無効)
+uv run python -m experiments.exp002_public_baseline.run exp=000 exp.debug=true
+```
+
+#### 設定ファイルの場所
+
+- 共通設定: `experiments/exp002_public_baseline/config.yaml`
+- 実験別設定: `experiments/exp002_public_baseline/exp/000.yaml`
+- デフォルト値: `experiments/exp002_public_baseline/run.py` 内の `ExpConfig` dataclass
+
+#### 出力ファイル
+
+5種類の submission を生成:
+1. `submission_baseline.csv`: Cosine similarity (ベースライン)
+2. `submission_tta.csv`: Test-Time Augmentation
+3. `submission_rerank.csv`: k-Reciprocal re-ranking
+4. `submission_calibrated.csv`: Percentile calibration
+5. `submission_ensemble.csv`: 加重アンサンブル (0.4*TTA + 0.35*rerank + 0.25*calibrated)
+6. `submission.csv`: ensemble のコピー (メイン提出用)
+
+### exp003_eva02_baseline
+
+公開ノートブック ([lakhindarpal/jaguar-re-identification-challenge](https://www.kaggle.com/code/lakhindarpal/jaguar-re-identification-challenge)) をベースにした実験。
+
+exp002 との主な違い:
+- Backbone: EVA-02 Large 448px (~300M params) (exp002: MegaDescriptor-B-224, 88M)
+- Image size: 448 (exp002: 224)
+- Pooling: GeM (Generalized Mean Pooling) (exp002: Global Average)
+- ArcFace: Standard (exp002: Sub-center k=2)
+- Loss: CrossEntropy (exp002: Focal Loss gamma=2.0)
+- Augmentation: torchvision (基本的) (exp002: albumentations 多数)
+- Neck: BN のみ (exp002: 2層 MLP + BN + PReLU)
+- Class Balancing: なし (exp002: WeightedRandomSampler)
+- Post-processing: TTA + Query Expansion + re-ranking (exp002: TTA + rerank + calibration + ensemble)
+- Epochs: 10 (exp002: 25)
+- LR: 2e-5 (exp002: 2e-4)
+- Effective batch: 16 (exp002: 32)
+- Scheduler: CosineAnnealingLR warmup なし (exp002: Cosine + linear warmup)
+
+| minor version | 説明 | 主要パラメータ | CV | LB |
+|---|---|---|---|---|
+| 000 | 公開ノートブックデフォルト設定 | backbone=EVA-02-L-448, epochs=10, bs=4, accum=4, lr=2e-5 | - | 0.921 |
+
+#### 実行コマンド
+
+```bash
+# 通常実行
+uv run python -m experiments.exp003_eva02_baseline.run exp=000
+
+# デバッグモード (wandb無効)
+uv run python -m experiments.exp003_eva02_baseline.run exp=000 exp.debug=true
+```
+
+#### 設定ファイルの場所
+
+- 共通設定: `experiments/exp003_eva02_baseline/config.yaml`
+- 実験別設定: `experiments/exp003_eva02_baseline/exp/000.yaml`
+- デフォルト値: `experiments/exp003_eva02_baseline/run.py` 内の `ExpConfig` dataclass
+
+#### 出力ファイル
+
+5種類の submission を生成:
+1. `submission_baseline.csv`: Cosine similarity (ベースライン)
+2. `submission_tta.csv`: Test-Time Augmentation (horizontal flip)
+3. `submission_qe.csv`: Query Expansion (top_k=3)
+4. `submission_rerank.csv`: k-Reciprocal re-ranking
+5. `submission_ensemble.csv`: 加重アンサンブル (0.4*TTA + 0.3*QE + 0.3*rerank)
+6. `submission.csv`: ensemble のコピー (メイン提出用)
+
+### exp004_0938_optimal_blending
+
+公開ノートブック ([sanidhyavijay24/jaguar-re-id-0-938-eva-02-optimal-blending](https://www.kaggle.com/code/sanidhyavijay24/jaguar-re-id-0-938-eva-02-optimal-blending)) をベースにした実験。
+
+exp003 との主な違い:
+- Neck: FC 層削除 (backbone_dim → BN → ArcFace 直接) (exp003: BN → FC(1024) → BN2)
+- Normalize: [0.481, 0.457, 0.408] / [0.268, 0.261, 0.275] (exp003: ImageNet)
+- CLS トークン: if H*W != N: features[:, -(H*W):, :] (exp003: num_prefix_tokens)
+- TTA: バッチ内 flip (exp003: 別パス平均)
+- Re-ranking: Jaccard 距離ベース k-reciprocal (exp003: expansion-based)
+- rerank_lambda: 0.2 (exp003: 0.3)
+- Blending: 0.2*raw + 0.8*reranked Optimal (exp003: 0.4*TTA + 0.3*QE + 0.3*rerank)
+- ArcFace input: backbone_dim そのまま (exp003: embedding_dim=1024)
+
+| minor version | 説明 | 主要パラメータ | CV | LB |
+|---|---|---|---|---|
+| 000 | 0.938 NB デフォルト設定 | backbone=EVA-02-L-448, epochs=10, bs=4, accum=4, lr=2e-5, lambda=0.2, blend=0.2/0.8 | - | 0.946 |
+
+#### 実行コマンド
+
+```bash
+# 通常実行
+uv run python -m experiments.exp004_0938_optimal_blending.run exp=000
+
+# デバッグモード (wandb無効)
+uv run python -m experiments.exp004_0938_optimal_blending.run exp=000 exp.debug=true
+```
+
+#### 設定ファイルの場所
+
+- 共通設定: `experiments/exp004_0938_optimal_blending/config.yaml`
+- 実験別設定: `experiments/exp004_0938_optimal_blending/exp/000.yaml`
+- デフォルト値: `experiments/exp004_0938_optimal_blending/run.py` 内の `ExpConfig` dataclass
+
+#### 出力ファイル
+
+5種類の submission を生成:
+1. `submission_baseline.csv`: Raw cosine similarity (TTA なし)
+2. `submission_tta.csv`: In-batch flip TTA
+3. `submission_rerank.csv`: QE → Jaccard k-reciprocal re-ranking (lambda=0.2)
+4. `submission_optimal_blend.csv`: 20% raw + 80% reranked (Optimal Blending)
+5. `submission.csv`: optimal_blend のコピー (メイン提出用)
+
+### exp005_pseudo_labeling
+
+公開ノートブック ([kawaharataishi/pseudo-labeling](https://www.kaggle.com/code/kawaharataishi/pseudo-labeling/notebook)) をベースにした Pseudo-Labeling (Self-Training) 実験。
+
+exp004 との主な違い:
+- 学習フロー: exp004 best_model.pth ロード → テスト画像擬似ラベル生成 → 結合データで fine-tuning
+- 訓練データ: train.csv + pseudo_labels (テスト画像の高確信度予測)
+- Augmentation: + SharpenTransform(p=0.3) + RandomErasing(p=0.25)
+- LR: 1e-5 (fine-tuning 用に低め)
+- エポック: 5 (fine-tuning 用に少なめ)
+- 推論・後処理: exp004 と同一 (Optimal Blend)
+
+| minor version | 説明 | 主要パラメータ | CV | LB |
+|---|---|---|---|---|
+| 000 | デフォルト設定 | threshold=0.90, max_per_class=500, finetune_epochs=5, lr=1e-5 | - | 0.937 |
+
+#### 実行コマンド
+
+```bash
+# 通常実行
+uv run python -m experiments.exp005_pseudo_labeling.run exp=000
+
+# デバッグモード (wandb無効)
+uv run python -m experiments.exp005_pseudo_labeling.run exp=000 exp.debug=true
+```
+
+#### 設定ファイルの場所
+
+- 共通設定: `experiments/exp005_pseudo_labeling/config.yaml`
+- 実験別設定: `experiments/exp005_pseudo_labeling/exp/000.yaml`
+- デフォルト値: `experiments/exp005_pseudo_labeling/run.py` 内の `ExpConfig` dataclass
+
+#### 出力ファイル
+
+- `pseudo_labels.csv`: 生成された擬似ラベル一覧 (filename, ground_truth, label, confidence)
+- `best_model_finetuned.pth`: fine-tuning 後のベストモデル
+- 5種類の submission (exp004 と同一): baseline, TTA, rerank, optimal_blend, main
+
+### exp006_dinov2
+
+DINOv2 ViT-Large backbone による異種モデル実験。アンサンブルの多様性向上が目的。
+
+exp004 との主な違い:
+- Backbone: EVA-02-L-448 → DINOv2 ViT-L reg4 (自己教師あり学習 vs MIM)
+- Image size: 448 → 518 (patch_size=14, 37x37 patches)
+- Normalize: カスタム → ImageNet 標準 [0.485,0.456,0.406]/[0.229,0.224,0.225]
+- CLS除去: features[:, -(H*W):, :] → features[:, num_prefix:, :] (num_prefix=5: CLS+4reg)
+- dynamic_img_size=True (timm)
+- その他 (GeM, ArcFace, QE, Rerank, Optimizer) は exp004 と同一
+
+| minor version | 説明 | 主要パラメータ | CV | LB |
+|---|---|---|---|---|
+| 000 | DINOv2 デフォルト設定 (10ep) | backbone=DINOv2-L-reg4, epochs=10, bs=4, accum=4, lr=2e-5, img=518 | - | - |
+| 001 | 20ep (チェックポイント再開) | epochs=20, resume_from=000/best_model.pth, start_epoch=10 | - | - |
+
+#### 実行コマンド
+
+```bash
+# 通常実行 (10ep)
+uv run python -m experiments.exp006_dinov2.run exp=000
+
+# 20ep チェックポイント再開
+uv run python -m experiments.exp006_dinov2.run exp=001
+
+# デバッグモード (wandb無効)
+uv run python -m experiments.exp006_dinov2.run exp=000 exp.debug=true
+```
+
+#### 設定ファイルの場所
+
+- 共通設定: `experiments/exp006_dinov2/config.yaml`
+- 実験別設定: `experiments/exp006_dinov2/exp/000.yaml`
+- デフォルト値: `experiments/exp006_dinov2/run.py` 内の `ExpConfig` dataclass
+
+#### 出力ファイル
+
+5種類の submission を生成 (exp004 と同一形式):
+1. `submission_baseline.csv`: Raw cosine similarity (TTA なし)
+2. `submission_tta.csv`: In-batch flip TTA
+3. `submission_rerank.csv`: QE → Jaccard k-reciprocal re-ranking (lambda=0.2)
+4. `submission_optimal_blend.csv`: 20% raw + 80% reranked (Optimal Blending)
+5. `submission.csv`: optimal_blend のコピー (メイン提出用)
+
+### exp007_improved_training
+
+exp004 ベースに学習戦略を改善した実験。3つの改善: Layer-wise LR Decay, Linear Warmup + Cosine Decay, EMA。
+
+exp004 との主な違い:
+- Optimizer: 全パラメータ同一LR → Layer-wise LR Decay (backbone浅い層: 小LR, head: 大LR)
+- Scheduler: CosineAnnealingLR → Linear Warmup (1ep) + Cosine Decay (per-step)
+- EMA: なし → ModelEmaV2 (decay=0.999), 推論時にEMA weights使用
+
+| minor version | 説明 | 主要パラメータ | CV | LB |
+|---|---|---|---|---|
+| 000 | 全3改善ON (10ep) | lr_decay_rate=0.75, warmup_epochs=1.0, ema_decay=0.999 | Loss 4.4556, Acc 48.94% | 提出済み |
+| 001 | Layer-wise LR 穏やか (10ep) | lr_decay_rate=0.95, warmup_epochs=1.0, ema_decay=0.999 | Loss 0.3466, Acc 95.56% | 提出済み |
+| 002 | Warmup+EMA のみ (10ep) | use_layerwise_lr=false, warmup_epochs=1.0, ema_decay=0.999 | Loss 0.1904, Acc 97.83% | 提出済み |
+
+**結論**: 3つの改善 (Layer-wise LR, Warmup, EMA) はいずれも exp004 ベースライン (Loss 0.1355, Acc 98.47%, LB 0.946) を超えられなかった。Layer-wise LR は有害 (decay_rate=0.95 でも Acc 95.56%)。Warmup+EMA のみでも Acc 97.83% 止まり。
+
+#### 実行コマンド
+
+```bash
+# 通常実行
+uv run python -m experiments.exp007_improved_training.run exp=000
+
+# デバッグモード (wandb無効)
+uv run python -m experiments.exp007_improved_training.run exp=000 exp.debug=true
+```
+
+## ベストスコア履歴
+
+| 日付 | 実験 | Public LB | Private LB | 備考 |
+|------|------|-----------|------------|------|
+| 2026-02-11 | ensemble exp004+005 weighted 0.7/0.3 | **0.948** | - | exp004 (0.946) + exp005 PL (0.937) のアンサンブル |
+| 2026-02-11 | exp004_0938_optimal_blending/000 (optimal_blend) | 0.946 | - | EVA-02-L-448 + FC削除 + Jaccard rerank + Optimal Blend |
+| 2026-02-10 | exp003_eva02_baseline/000 (ensemble) | 0.921 | - | EVA-02-L-448 + GeM + ArcFace |
+| 2026-02-10 | exp002_public_baseline/000 (ensemble) | 0.781 | - | MegaDescriptor-B-224 + SubCenter-ArcFace |
+
+## 重要な知見
+
+### データに関する知見
+
+-
+
+### モデルに関する知見
+
+- EVA-02 Large 448px (300M params) は MegaDescriptor-B-224 (88M) に対し LB +0.140 の大幅改善 (0.781→0.921)
+- 大規模 backbone の強さが Re-ID タスクで非常に効果的
+
+### 前処理・後処理に関する知見
+
+-
+
+## 有効なテクニック
+
+<!-- コンペを通じて有効だと判明したテクニックを記録 -->
+
+-
+
+## 避けるべきアプローチ
+
+<!-- 試したが効果がなかった、または悪化したアプローチを記録 -->
+
+- **Layer-wise LR Decay (EVA-02 Large)**: decay_rate=0.75 → Loss 4.4556, Acc 48.94% (大幅劣化)。decay_rate=0.95 に緩和しても Acc 95.56% で exp004 (98.47%) を下回る。EVA-02 Large では全層同一LR が最適。
+- **Warmup + EMA (exp004ベース)**: 全層同一LR + Warmup(1ep) + EMA(0.999) でも Loss 0.1904, Acc 97.83% → exp004 (Loss 0.1355, Acc 98.47%) に及ばず。10ep では Warmup による序盤学習遅延を回収しきれない可能性。

logs/Log_2025-02-10.md

@@ -0,0 +1,24 @@
+# 開発ログ 2025-02-10
+
+## kaggle-template への汎用設定フィードバック
+
+Jaguar_Re_Identification プロジェクトで追加・改善した汎用的な設定を kaggle-template に反映した。
+
+### 実施内容
+
+| ファイル | 操作 | 内容 |
+|---|---|---|
+| `CLAUDE.md` | 新規作成 | Claude Code 開発ガイドライン（View実装の原則セクションは削除） |
+| `TODO.md` | 新規作成 | 空のタスク管理テンプレート |
+| `docs/.gitkeep` | 新規作成 | ドキュメントディレクトリ |
+| `docs/experiments.md` | 新規作成 | 実験記録テンプレート |
+| `logs/.gitkeep` | 新規作成 | ログディレクトリ |
+| `tests/.gitkeep` | 新規作成 | テストディレクトリ |
+| `tools/upload_model.py` | 修正 | user_name デフォルト: `kami634` → `naotonishida` |
+| `experiments/exp000_sample/run.py` | 修正 | WANDB_PROJECT_NAME に TODO コメント追加 |
+| `README.md` | 修正 | Structure セクション更新、プロジェクト初期設定セクション追加 |
+
+### 反映しなかったもの
+- `timm` 依存（Jaguar固有）
+- `exp001_baseline/`（コンペ固有）
+- `.claude/settings.local.json`（ユーザーセッション固有）

logs/Log_2026-02-10.md

@@ -0,0 +1,206 @@
+# 開発ログ 2026-02-10
+
+## exp001_baseline 実装
+
+### 実施内容
+- `pyproject.toml` に `timm` を追加、`uv sync` で依存をインストール
+- `experiments/exp001_baseline/` を作成
+  - `config.yaml`: Hydra設定 (exp000_sample と同一構造)
+  - `exp/000.yaml`: Zero-shot モード
+  - `exp/001.yaml`: ArcFace fine-tune モード (epochs=10, batch_size=16, lr=1e-4)
+  - `run.py`: メイン実装
+    - `JaguarDataset`: RGBA→RGB変換(白背景合成)、リサイズ、正規化
+    - `EmbeddingModel`: timm の MegaDescriptor-L-384 で embedding 抽出 + L2正規化
+    - `ArcFaceHead`: Angular Margin Loss 分類ヘッド
+    - `train()`: ArcFace学習 (AdamW + CosineAnnealing + warmup)、各epochでval AUC計算
+    - `validate()`: val set の全ペア cosine 類似度 → AUC-ROC
+    - `generate_submission()`: 371枚のembedding抽出 → 137,270ペアの類似度 → CSV出力
+- `docs/experiments.md`: 実験設定一覧ドキュメントを作成
+
+### デバッグ実行
+- `exp=000 exp.debug=true` を実行したが、GPU メモリ不足 (他プロセスが 93GB 使用中) で失敗
+- コード自体にはエラーなし。GPU が空いたら再実行する
+
+### 次のステップ
+- GPU 空き次第、zero-shot (exp=000) を実行して submission.csv を確認
+- ArcFace fine-tune (exp=001) を実行
+
+## exp002_public_baseline 実装
+
+公開ノートブック ([ibrahimqasimi/jaguar-re-identification-challenge-baseline](https://www.kaggle.com/code/ibrahimqasimi/jaguar-re-identification-challenge-baseline)) をプロジェクトフレームワークに統合。
+
+### exp001 との主な差分
+
+| 項目 | exp001 | exp002 (公開NB) |
+|------|--------|-----------------|
+| Backbone | MegaDescriptor-L-384 | MegaDescriptor-B-224 |
+| Image size | 384 | 224 |
+| ArcFace | Standard | Sub-center (k=2) |
+| Loss | CrossEntropy | Focal Loss (gamma=2.0) |
+| Augmentation | torchvision (flip, resize) | albumentations (多数) |
+| Neck | なし | 2層 MLP + BN + PReLU |
+| Class Balancing | なし | WeightedRandomSampler |
+| AMP / Grad Accum | なし | AMP + accum=4 |
+| 推論 | cosine類似度のみ | TTA, k-reciprocal re-ranking, calibration, ensemble |
+| Epochs | 10 | 25 |
+
+### 実施内容
+
+| ファイル | 操作 | 内容 |
+|---|---|---|
+| `experiments/exp002_public_baseline/run.py` | 新規作成 | メイン実装 (~600行) |
+| `experiments/exp002_public_baseline/config.yaml` | 新規作成 | Hydra 設定 |
+| `experiments/exp002_public_baseline/exp/000.yaml` | 新規作成 | 公開NBデフォルト設定 |
+| `experiments/exp002_public_baseline/SESSION_NOTES.md` | 新規作成 | セッション記録 |
+| `pyproject.toml` | 修正 | albumentations>=1.3.0 追加 |
+| `docs/experiments.md` | 修正 | exp002 セクション追加 |
+| `TODO.md` | 修正 | exp002 タスク追加 |
+
+### 主要コンポーネント
+
+- `JaguarDataset` / `JaguarTestDataset`: albumentations + alpha mask (黒背景合成)
+- `SubCenterArcFace`: Sub-center ArcFace head (k=2)
+- `JaguarReIDModel`: backbone + neck (2層MLP+BN+PReLU) + head (gradient checkpointing対応)
+- `FocalLoss`: gamma=2.0
+- `train_one_epoch()`: AMP + gradient accumulation (effective batch=32)
+- `extract_embeddings()` / `extract_embeddings_with_tta()`: TTA 推論
+- `compute_k_reciprocal_rerank()`: k-reciprocal re-ranking
+- `generate_submissions()`: 5種類の submission 生成 (baseline, TTA, rerank, calibrated, ensemble)
+
+### 次のステップ
+
+- GPU 空き次第 exp=000 を実行
+- LB スコアを確認し exp001 と比較
+
+## exp002_public_baseline デバッグ実行・通常モード開始
+
+### デバッグ実行 (debug=true)
+- albumentations v2.0 API 変更に対応 (ShiftScaleRotate→Affine, GaussNoise, CoarseDropout 等)
+- debugモードで3エポック早期終了を実装
+- 3エポック正常完了: Loss 17.58→13.65→8.35, Accuracy 0%→3.5%→30.3%
+- 5種類の submission.csv 正常生成
+
+### 通常モード実行開始
+- `uv run python -m experiments.exp002_public_baseline.run exp=000` をバックグラウンドで実行開始 (18:04)
+- 25エポック、wandb run: `exp002_public_baseline/000` (bid9iijn)
+
+## CLAUDE.md ルール追加: 実行中プログラムの追跡
+
+ユーザーの指示により、長時間実行するプログラムの状態を TODO.md で追跡する標準ルールを追加。
+- CLAUDE.md: 「実行中プログラムの追跡」ルールを追加
+- TODO.md: 「現在実行中」セクションを新設
+
+## exp003_eva02_baseline 実装
+
+公開ノートブック ([lakhindarpal/jaguar-re-identification-challenge](https://www.kaggle.com/code/lakhindarpal/jaguar-re-identification-challenge)) をプロジェクトフレームワークに統合。
+
+### exp002 との主な差分
+
+| 項目 | exp002 (公開NB #1) | exp003 (今回) |
+|------|-------------------|--------------|
+| Backbone | MegaDescriptor-B-224 (88M) | EVA-02 Large 448px (~300M) |
+| Image size | 224 | 448 |
+| Pooling | Global Average | GeM (Generalized Mean) |
+| ArcFace | Sub-center (k=2) | Standard |
+| Loss | Focal Loss (gamma=2.0) | CrossEntropy |
+| Augmentation | albumentations (多数) | torchvision (基本的) |
+| Neck | 2層 MLP + BN + PReLU | BN のみ |
+| Class Balancing | WeightedRandomSampler | なし |
+| Post-processing | TTA + rerank + calibration + ensemble | TTA + Query Expansion + rerank |
+| Epochs | 25 | 10 |
+| LR | 2e-4 | 2e-5 |
+| Effective batch | 32 | 16 |
+| Scheduler | Cosine + linear warmup | CosineAnnealingLR (warmup なし) |
+
+### 実施内容
+
+| ファイル | 操作 | 内容 |
+|---|---|---|
+| `experiments/exp003_eva02_baseline/run.py` | 新規作成 | メイン実装 (~550行) |
+| `experiments/exp003_eva02_baseline/config.yaml` | 新規作成 | Hydra 設定 |
+| `experiments/exp003_eva02_baseline/exp/000.yaml` | 新規作成 | EVA-02 Large デフォルト設定 |
+| `experiments/exp003_eva02_baseline/SESSION_NOTES.md` | 新規作成 | セッション記録 |
+| `docs/experiments.md` | 修正 | exp003 セクション追加 |
+| `TODO.md` | 修正 | exp003 タスク追加 |
+
+### 主要コンポーネント
+
+- `GeM`: Generalized Mean Pooling (学習可能パラメータ p)
+- `ArcFaceLayer`: Standard ArcFace head
+- `EVAReIDModel`: EVA-02 Large + GeM + BN + ArcFace (ViT 出力の reshape + GeM 対応)
+- `query_expansion()`: top-k 近傍の平均で embedding 更新
+- `JaguarDataset` / `JaguarTestDataset`: torchvision transforms + PIL ベース
+- `train_one_epoch()`: AMP + gradient accumulation (CosineAnnealingLR)
+- `generate_submissions()`: 5種類の submission 生成 (baseline, TTA, QE, rerank, ensemble)
+
+### デバッグ実行結果
+
+3エポック正常完了: Loss 11.79→10.63→8.96, Accuracy 4.85%→7.93%→18.34%
+5種類の submission.csv 正常生成 (baseline, TTA, QE, rerank, ensemble)
+
+### 次のステップ
+
+- GPU 空き次第 exp=000 を通常実行
+- LB スコア確認・exp002 との比較
+
+## exp002_public_baseline 通常モード完了・LBサブミット
+
+### 学習結果
+- 25エポック完了: train_accuracy=99.42%, loss=0.034
+- wandb run: `exp002_public_baseline/000` (bid9iijn)
+
+### LBスコア
+- **Public LB: 0.781** (ensemble: 0.4*TTA + 0.35*rerank + 0.25*calibrated)
+
+## exp003_eva02_baseline 通常モード完了・LBサブミット
+
+### 学習結果 (10エポック)
+
+| Epoch | Loss | Accuracy |
+|-------|------|----------|
+| 1 | 15.31 | 0.16% |
+| 2 | 9.50 | 17.97% |
+| 3 | 6.00 | 38.48% |
+| 4 | 3.99 | 54.92% |
+| 5 | 2.78 | 69.66% |
+| 6 | 1.91 | 76.90% |
+| 7 | 1.54 | 79.86% |
+| 8 | 1.23 | 84.62% |
+| 9 | 1.11 | 85.99% |
+| 10 | 0.92 | 88.69% |
+
+### Submission 結果
+
+| Submission | Mean | Std |
+|-----------|------|-----|
+| baseline | 0.5034 | 0.1043 |
+| TTA | 0.5034 | 0.1045 |
+| QE (top_k=3) | 0.5033 | 0.1083 |
+| rerank | 0.5027 | 0.0773 |
+| ensemble | 0.5032 | 0.0971 |
+
+### LBスコア
+- **Public LB: 0.921** (ensemble: 0.4*TTA + 0.3*QE + 0.3*rerank)
+- exp002 (0.781) から +0.140 の大幅改善
+- wandb run: `exp003_eva02_baseline/000` (s0k3gpx7)
+
+## kaggle-template の改良を反映
+
+kaggle-template で追加された Claude Code 向け改良を本リポジトリに反映。
+
+### 実施内容
+
+| ファイル | 操作 | 内容 |
+|---|---|---|
+| `CLAUDE.md` | 更新 | View実装の原則を削除、新禁止事項追加、Kaggleワークフローセクション追加 |
+| `KAGGLE_DIRECTION.md` | 新規作成 | コンペ固有ワークフロー（Jaguar用に適応） |
+| `survey/papers/README.md` + `.gitkeep` | 新規作成 | 論文調査ガイド |
+| `survey/discussion/README.md` + `.gitkeep` | 新規作成 | ディスカッション定点観測ガイド |
+| `competition/overview.md` | 新規作成 | EDA・データ概要テンプレート |
+| `competition/related_competitions.md` | 新規作成 | 類似コンペ調査テンプレート |
+| `experiments/exp000_sample/SESSION_NOTES.md` | 新規作成 | セッション記録テンプレート |
+| `experiments/exp001_baseline/SESSION_NOTES.md` | 新規作成 | セッション記録（実験情報記入済み） |
+| `docs/experiments.md` | 更新 | 知見集約形式に拡張（ベストスコア履歴、重要な知見等） |
+| `.gitignore` | 更新 | ML モデルファイル、survey データを追加 |
+| `README.md` | 更新 | 新構造、命名規則、関連ドキュメント等を追加 |
+| `tests/.gitkeep` | 新規作成 | テストディレクトリ |

logs/Log_2026-02-11.md

@@ -0,0 +1,205 @@
+# 開発ログ 2026-02-11
+
+## exp004_0938_optimal_blending 実装
+
+公開ノートブック ([sanidhyavijay24/jaguar-re-id-0-938-eva-02-optimal-blending](https://www.kaggle.com/code/sanidhyavijay24/jaguar-re-id-0-938-eva-02-optimal-blending)) をプロジェクトフレームワークに統合。
+
+### exp003 との主な差分
+
+| 項目 | exp003 (LB 0.921) | exp004 (0.938 NB) |
+|------|-------------------|-------------------|
+| Neck (FC層) | backbone_dim → BN → FC(1024) → BN2 | backbone_dim → BN のみ (FC なし) |
+| Normalize mean/std | ImageNet [0.485, 0.456, 0.406] / [0.229, 0.224, 0.225] | [0.481, 0.457, 0.408] / [0.268, 0.261, 0.275] |
+| CLS トークン処理 | num_prefix_tokens で先頭除去 | if H*W != N: features[:, -(H*W):, :] |
+| TTA | 別パスで抽出 → 平均 → normalize | バッチ内 flip: (feat + feat_flip) / 2 → normalize |
+| Re-ranking | expansion-based k-reciprocal | Jaccard距離ベース k-reciprocal |
+| rerank_lambda | 0.3 | 0.2 |
+| ブレンディング | 0.4*TTA + 0.3*QE + 0.3*rerank | Optimal: 0.2*raw + 0.8*rerank |
+| 類似度計算 | ペアごと (dot+1)/2 クリップ | NxN 行列一括計算 |
+| ArcFace input dim | embedding_dim=1024 (FC後) | backbone_dim そのまま |
+
+### 実施内容
+
+| ファイル | 操作 | 内容 |
+|---|---|---|
+| `experiments/exp004_0938_optimal_blending/run.py` | 新規作成 | メイン実装 (~550行) |
+| `experiments/exp004_0938_optimal_blending/config.yaml` | 新規作成 | Hydra 設定 |
+| `experiments/exp004_0938_optimal_blending/exp/000.yaml` | 新規作成 | 0.938 NB デフォルト設定 |
+| `experiments/exp004_0938_optimal_blending/SESSION_NOTES.md` | 新規作成 | セッション記録 |
+| `docs/experiments.md` | 修正 | exp004 セクション追加 |
+| `TODO.md` | 修正 | exp004 タスク追加 |
+
+### 主要コンポーネント
+
+- `EVAJaguarModel`: EVA-02 Large + GeM + BN → ArcFace (FC層なし)
+- `extract_features_batch()`: バッチ内 flip TTA
+- `k_reciprocal_rerank()`: Jaccard 距離ベース k-reciprocal re-ranking
+- `query_expansion()`: NxN 行列ベース
+- `compute_similarity_matrix()` / `lookup_pair_similarities()`: NxN 行列一括計算
+- `generate_submissions()`: 5種類の submission (baseline, TTA, rerank, optimal_blend, main)
+
+### デバッグ実行結果
+
+3エポック正常完了: Loss 10.44→4.70→2.94, Accuracy 7.4%→42%→68.4%
+5種類の submission.csv 正常生成 (baseline, TTA, rerank, optimal_blend, main)
+
+### 通常モード実行結果
+
+- コマンド: `uv run python -m experiments.exp004_0938_optimal_blending.run exp=000`
+- 開始: 01:29, 完了: 02:25
+- wandb run: `exp004_0938_optimal_blending/000` ([link](https://wandb.ai/nawta1998/jaguar-re-identification/runs/qq901bm5))
+
+#### エポック別結果
+
+| Epoch | Loss | Accuracy |
+|-------|------|----------|
+| 1 | 10.4424 | 7.42% |
+| 2 | 4.1012 | 45.21% |
+| 3 | 2.3430 | 68.73% |
+| 4 | 1.3775 | 79.75% |
+| 5 | 0.7867 | 87.50% |
+| 6 | 0.4756 | 92.70% |
+| 7 | 0.3151 | 95.42% |
+| 8 | 0.2252 | 97.04% |
+| 9 | 0.1717 | 97.93% |
+| 10 | 0.1355 | 98.47% |
+
+#### Submission 統計
+
+| Submission | Mean | Std |
+|-----------|------|-----|
+| Baseline (raw cosine) | 0.0126 | 0.2136 |
+| TTA (in-batch flip) | 0.0127 | 0.2142 |
+| Jaccard Re-ranking | 0.0160 | 0.2034 |
+| Optimal Blend (20% raw + 80% reranked) | 0.0153 | 0.2052 |
+
+メイン提出: `submission.csv` = optimal_blend のコピー (137,270 行)
+
+### LB 提出結果
+
+**Public LB: 0.946** (exp003 0.921 → +0.025、元 NB 0.938 も超過)
+
+初回提出は SubmissionStatus.ERROR: cosine similarity が [-1, 1] のまま出力されていたため。
+`lookup_pair_similarities()` に `np.clip((raw + 1) / 2, 0, 1)` マッピングを追加して修正。
+
+### 次のステップ
+
+- 他の submission (baseline, TTA, rerank) も個別に提出してどの後処理が効いているか確認
+- さらなるスコア改善の検討
+
+## exp005_pseudo_labeling 実装
+
+公開ノートブック ([kawaharataishi/pseudo-labeling](https://www.kaggle.com/code/kawaharataishi/pseudo-labeling/notebook)) をプロジェクトフレームワークに統合。
+
+### exp004 との主な差分
+
+| 項目 | exp004 (LB 0.946) | exp005 (Pseudo-Labeling) |
+|------|-------------------|--------------------------|
+| 学習フロー | 訓練データのみで10エポック | exp004モデルロード → PL生成 → 結合データで5エポック再学習 |
+| 訓練データ | train.csv のみ | train.csv + pseudo_labels (テスト画像の高確信度予測) |
+| Augmentation | HFlip + Affine + ColorJitter + RandomErasing | + SharpenTransform(p=0.3) |
+| LR | 2e-5 | 1e-5 (fine-tuning用に低め) |
+| エポック | 10 | 5 (fine-tuning用に少なめ) |
+
+### 実施内容
+
+| ファイル | 操作 | 内容 |
+|---|---|---|
+| `experiments/exp005_pseudo_labeling/run.py` | 新規作成 | メイン実装 (~650行) |
+| `experiments/exp005_pseudo_labeling/config.yaml` | 新規作成 | Hydra 設定 |
+| `experiments/exp005_pseudo_labeling/exp/000.yaml` | 新規作成 | デフォルト設定 |
+| `experiments/exp005_pseudo_labeling/SESSION_NOTES.md` | 新規作成 | セッション記録 |
+| `docs/experiments.md` | 修正 | exp005 セクション追加 |
+| `TODO.md` | 修正 | exp005 タスク追加 |
+
+### 主要コンポーネント
+
+- `SharpenTransform`: PIL.ImageFilter.SHARPEN を確率的に適用
+- `generate_pseudo_labels()`: テスト画像の高確信度予測を擬似ラベルとして生成
+- `finetune_with_pseudo_labels()`: train + pseudo で fine-tuning
+- `load_base_model()`: exp004 best_model.pth をロード
+- exp004 から流用: EVAJaguarModel, GeM, ArcFaceLayer, extract_features_batch, generate_submissions 等
+
+### 通常モード実行結果
+
+- コマンド: `uv run python -m experiments.exp005_pseudo_labeling.run exp=000`
+- 開始: 03:07, 完了: 03:41
+- wandb run: `exp005_pseudo_labeling/000` ([link](https://wandb.ai/nawta1998/jaguar-re-identification/runs/qfmba3ct))
+
+#### 擬似ラベル生成結果
+
+- テスト画像: 371枚
+- threshold 0.90 以上: 364枚 (98.1%)
+- Confidence: min=0.9149, mean=0.9996, max=1.0000
+
+#### Fine-tuning エポック別結果
+
+結合データ: 1,895 (train) + 364 (pseudo) = 2,259件
+
+| Epoch | Loss | Accuracy |
+|-------|------|----------|
+| 1 | 0.3241 | 96.01% |
+| 2 | 0.2828 | 97.12% |
+| 3 | 0.1210 | 98.32% |
+| 4 | **0.0731** | **99.20%** |
+| 5 | 0.0815 | 98.71% |
+
+ベストモデル: Epoch 4 (Loss: 0.0731)
+
+#### Submission 統計
+
+| Submission | Mean | Std |
+|-----------|------|-----|
+| Baseline (raw cosine) | 0.5059 | 0.1087 |
+| TTA (in-batch flip) | 0.5059 | 0.1088 |
+| Jaccard Re-ranking | 0.5078 | 0.1019 |
+| Optimal Blend (20% raw + 80% reranked) | 0.5074 | 0.1031 |
+
+メイン提出: `submission.csv` = optimal_blend のコピー (137,270 行)
+
+### LB 提出結果
+
+**Public LB: 0.937** (exp004 0.946 → **-0.009** 悪化)
+
+Pseudo-Labeling が逆効果。similarity Mean が 0.50 付近に集中（exp004 では 0.01 付近）しており、embedding の識別力が低下した可能性。
+
+## アンサンブル (exp003 + exp004 + exp005)
+
+各実験のメイン submission を使って4種類のアンサンブルを生成。
+
+### 訓練エポック数
+
+| 実験 | エポック数 | LB |
+|------|----------|-----|
+| exp003 | 10 | 0.921 |
+| exp004 | 10 | 0.946 |
+| exp005 | exp004 + 5ep fine-tune | 0.937 |
+
+### 生成したアンサンブル
+
+| 手法 | 重み (003/004/005) | Mean | Std | LB |
+|------|-------------------|------|-----|-----|
+| Equal Average | 1/3, 1/3, 1/3 | 0.5061 | 0.0991 | 未提出 |
+| Weighted | 0.2, 0.5, 0.3 | 0.5067 | 0.1001 | 未提出 (提出制限) |
+| exp004-heavy | 0.1, 0.7, 0.2 | 0.5072 | 0.1011 | 未提出 (提出制限) |
+| Rank Average | rank 平均 | 0.4981 | 0.2439 | **0.937** |
+
+### 考察
+
+- Rank Average (0.937) は exp004 単体 (0.946) を下回った
+- exp003 (LB 0.921) の混入がスコアを引き下げている可能性
+
+## アンサンブル (exp004 + exp005)
+
+exp003 を除き、exp004 + exp005 のみの2モデルアンサンブルを試行。
+
+| 手法 | 重み (004/005) | LB |
+|------|---------------|-----|
+| Equal Average | 0.5/0.5 | 0.947 |
+| Weighted | **0.7/0.3** | **0.948** |
+| Weighted | 0.8/0.2 | 0.947 |
+| Rank Average | rank 平均 | 0.944 |
+
+**ベスト: Weighted 0.7/0.3 → LB 0.948** (exp004 単体 0.946 → +0.002)
+
+exp005 (Pseudo-Labeling) は単体では悪化したが、exp004 とのアンサンブルでは +0.002 の改善に貢献。多様性が有効に機能。

logs/Log_2026-02-12.md

@@ -0,0 +1,206 @@
+# 開発ログ 2026-02-12
+
+## exp006_dinov2 実装
+
+### 実装内容
+- exp004_0938_optimal_blending をベースに DINOv2 backbone 版を実装
+- 4つの AI モデル (Opus 4.6, Sonnet/Opus 4.5, Codex 5.3, Codex 5.2) の設計レビューを統合
+
+### 変更点 (exp004 → exp006)
+| 項目 | exp004 | exp006 |
+|------|--------|--------|
+| Backbone | `eva02_large_patch14_448` | `vit_large_patch14_reg4_dinov2.lvd142m` |
+| Image size | 448 | 518 |
+| Feature dim | 1024 | 1024 (同一) |
+| Normalize | [0.481,0.457,0.408]/[0.268,0.261,0.275] | ImageNet標準 |
+| CLS除去 | `features[:, -(H*W):, :]` | `features[:, num_prefix:, :]` |
+| dynamic_img_size | なし | True |
+| Model class名 | EVAJaguarModel | DINOv2JaguarModel |
+
+### 作成ファイル
+- `experiments/exp006_dinov2/run.py`: メイン実行スクリプト
+- `experiments/exp006_dinov2/config.yaml`: Hydra 設定
+- `experiments/exp006_dinov2/exp/000.yaml`: DINOv2 デフォルト設定
+- `experiments/exp006_dinov2/SESSION_NOTES.md`: セッションノート
+
+### デバッグモード結果
+- 3エポック正常完了
+- Epoch 1: Loss 9.2741, Acc 6.57%
+- Epoch 2: Loss 8.4287, Acc 21.16%
+- Epoch 3: Loss 4.4287, Acc 51.16%
+- Loss は低下傾向、学習は正常に動作
+- 5種類の submission.csv 生成を確認
+
+### 通常モード結果
+- 10エポック完了 (16:02-16:55, 約53分)
+- Best model: Epoch 9 (Loss 0.3982, Acc 95.14%)
+- Epoch 10: Loss 0.4295, Acc 94.77% (若干の過学習傾向)
+- 5種類の submission.csv 生成完了
+- best_model.pth: 1.2GB
+- wandb: https://wandb.ai/nawta1998/jaguar-re-identification/runs/oekz88cj
+
+### エポック推移
+| Epoch | Loss | Accuracy |
+|-------|------|----------|
+| 1 | 14.3756 | 2.38% |
+| 2 | 7.1063 | 30.44% |
+| 3 | 3.9048 | 55.18% |
+| 4 | 2.4275 | 71.25% |
+| 5 | 1.5750 | 80.02% |
+| 6 | 1.0837 | 85.89% |
+| 7 | 0.7684 | 89.48% |
+| 8 | 0.5429 | 93.18% |
+| 9 | 0.3982 | 95.14% |
+| 10 | 0.4295 | 94.77% |
+
+## exp006_dinov2 収束分析 & 20ep 延長
+
+### 収束分析
+- exp006 ep8→9 で Loss 27% 改善 (0.543→0.398)、まだ急降下中
+- ep10 の Loss 悪化 (0.398→0.430) は CosineAnnealingLR T_max=10 で LR がほぼ0 (5.87e-07) になったため
+- exp004 は 10ep で Loss 0.136 に収束、DINOv2 はまだ 0.398 → 収束が 2ep 以上遅い
+- **結論: DINOv2 は 10ep では未収束、20ep に延長が必要**
+
+### チェックポイント再開の実装
+- `run.py` に `resume_from`, `start_epoch` パラメータ追加
+- `exp/001.yaml` 作成: epochs=20, resume_from=exp000/best_model.pth, start_epoch=10
+- CosineAnnealingLR T_max=20 で LR スケジュール延長
+
+### exp=001 結果 (20ep, ep10から再開)
+
+| Epoch | Loss | Accuracy | Best? |
+|-------|------|----------|-------|
+| 11 | 0.4197 | 94.40% | Yes |
+| 12 | 0.3720 | 95.24% | Yes |
+| 13 | 0.2581 | 96.62% | Yes |
+| 14 | 0.2023 | 97.09% | Yes |
+| 15 | 0.1293 | 97.83% | Yes |
+| 16 | 0.1496 | 98.41% | |
+| 17 | 0.1350 | 97.99% | |
+| 18 | 0.1142 | 98.41% | Yes |
+| 19 | **0.0827** | **98.94%** | **Best** |
+| 20 | 0.1606 | 98.15% | |
+
+- Best: Epoch 19 (Loss 0.0827, Acc 98.94%)
+- 学習時間: 約56分 (17:31-18:27)
+- wandb: https://wandb.ai/nawta1998/jaguar-re-identification/runs/q8wi2ngh
+
+### exp004 vs exp006 比較 (training metrics)
+| | exp004 (EVA-02, 10ep) | exp006/001 (DINOv2, 20ep) |
+|--|----------------------|--------------------------|
+| Best Loss | 0.1355 | **0.0827** |
+| Best Acc | 98.47% | **98.94%** |
+
+### exp006 LB 提出結果
+- exp=000 (10ep): **LB 0.897**
+- exp=001 (20ep): **LB 0.925**
+- training metrics は exp004 を上回ったが、LB は大幅に下回る (0.925 vs 0.946)
+- DINOv2 は training で過学習気味の可能性
+
+## exp003/exp004 収束分析 & 20ep 延長
+
+### 収束分析結果
+- **exp003 (10ep)**: 未収束。ep9→10 で Loss -18% 改善中。Best Loss 0.9157, Acc 88.69%
+- **exp004 (10ep)**: LR 枯渇。CosineAnnealing T_max=10 で LR ≈0。ep9→10 は -1.2% 改善のみ
+- 両方とも T_max=20 に拡張して学習延長が有効と判断
+
+### チェックポイント再開実装
+- exp003/run.py, exp004/run.py に `resume_from`, `start_epoch` パラメータ追加
+- exp003/exp/001.yaml, exp004/exp/001.yaml 作成 (epochs=20, start_epoch=10)
+- exp003 デバッグモード確認済み: ep11-13 で Loss 0.9157→0.7959, Acc 88.69%→90.01%
+
+### exp003 exp=001 通常モード結果 (20ep, ep10から再開)
+
+| Epoch | Loss | Accuracy | Best? |
+|-------|------|----------|-------|
+| 11 | 1.0618 | 85.94% | Yes |
+| 12 | 1.0464 | 86.89% | Yes |
+| 13 | 0.7721 | 90.06% | Yes |
+| 14 | 0.6287 | 91.86% | Yes |
+| 15 | 0.5281 | 94.29% | Yes |
+| 16 | 0.3571 | 95.61% | Yes |
+| 17 | 0.3504 | 96.51% | Yes |
+| 18 | 0.3216 | 96.83% | Yes |
+| 19 | 0.3793 | 95.72% | |
+| 20 | **0.3035** | **96.78%** | **Best** |
+
+- Best: Epoch 20 (Loss 0.3035, Acc 96.78%)
+- 学習時間: 約52分 (19:09-20:01)
+- wandb: https://wandb.ai/nawta1998/jaguar-re-identification/runs/at1njwj2
+- 10ep→20ep で Loss 0.9157→0.3035 (67%��善), Acc 88.69%→96.78% (+8.09pt)
+- **LB 0.913** (10ep LB 0.921 より悪化 -0.008)
+- training metrics は大幅改善だが LB は悪化 → 過学習の兆候
+
+### exp004 exp=001 通常モード結果 (20ep, ep10から再開)
+
+| Epoch | Loss | Accuracy | Best? |
+|-------|------|----------|-------|
+| 11 | 0.2118 | 97.30% | Yes |
+| 12 | 0.1648 | 97.73% | Yes |
+| 13 | 0.0914 | 98.84% | Yes |
+| 14 | 0.1064 | 98.78% | |
+| 15 | 0.0948 | 98.47% | |
+| 16 | 0.0677 | 98.73% | Yes |
+| 17 | 0.0687 | 99.00% | |
+| 18 | 0.0518 | 99.26% | Yes |
+| 19 | **0.0481** | **99.42%** | **Best** |
+| 20 | 0.0560 | 99.00% | |
+
+- Best: Epoch 19 (Loss 0.0481, Acc 99.42%)
+- 学習時間: 約52分 (20:06-20:58)
+- wandb: https://wandb.ai/nawta1998/jaguar-re-identification/runs/7xgrxohi
+- 10ep→20ep で Loss 0.1355→0.0481 (64%改善), Acc 98.47%→99.42% (+0.95pt)
+
+### exp004 10ep vs 20ep 比較
+| | exp004/000 (10ep) | exp004/001 (20ep) |
+|--|-------------------|-------------------|
+| Best Loss | 0.1355 | **0.0481** |
+| Best Acc | 98.47% | **99.42%** |
+| LB | **0.946** | 0.945 (-0.001) |
+
+### 20ep 延長学習の総括
+| 実験 | 10ep LB | 20ep LB | 差分 |
+|------|---------|---------|------|
+| exp003 (EVA-02 baseline) | 0.921 | 0.913 | **-0.008** |
+| exp004 (optimal blending) | **0.946** | 0.945 | **-0.001** |
+| exp006 (DINOv2) | 0.897 | 0.925 | +0.028 |
+
+- **結論**: exp003/exp004 は 10ep で十分収束しており、20ep は過学習
+- exp006 (DINOv2) のみ 20ep 延長が有効だった（収束が遅いため）
+- training metrics の改善 ≠ LB スコアの改善（汎化性能の観点で重要な知見）
+
+## exp004/exp006 アンサンブル検証
+
+### モデル間相関
+| ペア | 相関係数 |
+|------|----------|
+| exp004-exp006 | 0.9412 |
+| exp004-exp005 | 0.9639 |
+| exp005-exp006 | 0.9305 |
+
+- exp004-exp006 の相関 (0.941) は exp004-exp005 (0.964) より低い → 多様性が高く、アンサンブル効果が期待できる
+
+### 提出結果 (2-model: exp004 + exp006)
+| アンサンブル | 重み (004/006) | LB |
+|-------------|---------------|-----|
+| exp004+006 w50/50 | 0.5/0.5 | 0.931 |
+| exp004+006 w70/30 | 0.7/0.3 | 0.946 |
+| **exp004+006 w80/20** | **0.8/0.2** | **0.947** |
+
+### 提出結果 (3-model: exp004 + exp005 + exp006)
+| アンサンブル | 重み (004/005/006) | LB |
+|-------------|-------------------|-----|
+| 3-model w50/20/30 | 0.5/0.2/0.3 | 0.946 |
+| 3-model w60/20/20 | 0.6/0.2/0.2 | 0.947 |
+| **3-model w50/30/20** | **0.5/0.3/0.2** | **0.948** |
+
+### 参考: exp004 + exp005 (既存ベスト)
+| アンサンブル | 重み (004/005) | LB |
+|-------------|---------------|-----|
+| **exp004+005 w70/30** | **0.7/0.3** | **0.948** (現ベスト) |
+
+### 分析
+- exp004+exp006 w80/20 が LB 0.947 で 2-model ベスト（exp004+005 の 0.948 にわずかに届かず）
+- 3-model w50/30/20 (LB 0.948) は現ベストと同等だが超えられず
+- exp006 は重み 0.2 程度で混ぜると微改善、0.3 以上では悪化
+- **結論: exp006 (DINOv2) の追加はスコア改善に寄与しない。現ベスト LB 0.948 維持**

logs/Log_2026-02-16.md

@@ -0,0 +1,89 @@
+# Log 2026-02-16
+
+## exp007_improved_training 実装
+
+### 概要
+exp004 (EVA-02 Large, 10ep, LB 0.946) をベースに、学習戦略を改善してモデル単体の性能向上を狙う実験を実装。
+
+### 実装した3つの改善
+1. **Layer-wise LR Decay** (`get_layer_id_for_eva02`, `build_optimizer_with_layerwise_lr`)
+   - EVA-02 Large: 24 transformer blocks
+   - Layer 割当: embed(0), blocks.0-23(1-24), fc_norm(25), head(26)
+   - LR = base_lr * decay_rate^(num_layers+2 - layer_id)
+   - lr_decay_rate=0.75, BN/bias は weight_decay=0
+
+2. **Linear Warmup + Cosine Decay** (`build_warmup_cosine_scheduler`)
+   - LambdaLR で per-step 実装
+   - warmup_steps = steps_per_epoch * warmup_epochs (default 1.0ep)
+   - cosine decay min_lr_ratio=0.005
+
+3. **EMA** (timm.utils.ModelEmaV2)
+   - decay=0.999
+   - optimizer.step() 後に ema_model.update(model)
+   - checkpoint に ema_state_dict 保存
+   - 推論時は EMA weights を使用
+
+### 作成ファイル
+- `experiments/exp007_improved_training/run.py`
+- `experiments/exp007_improved_training/config.yaml`
+- `experiments/exp007_improved_training/exp/000.yaml`
+- `experiments/exp007_improved_training/SESSION_NOTES.md`
+
+### デバッグモード動作確認
+- 3エポック正常完了
+- Layer-wise LR: 27 param groups (embed=1.13e-8 → head=2.0e-5)
+- Warmup + Cosine: 正常動作確認
+- EMA: "Loading EMA weights for inference" 確認
+- submission.csv 5種類生成確認
+- param group ソート修正 (alphabetical → numeric by layer_id)
+
+### 通常モード結果 (10ep)
+- **Best Loss**: 4.4556 (vs exp004's 0.1355, 32倍悪化)
+- **Final Accuracy**: 48.94% (vs exp004's 98.47%, 50pt低下)
+- **Similarity scores**: Baseline=0.890, TTA=0.892, Rerank=0.832, Blend=0.844
+- **原因**: lr_decay_rate=0.75 が aggressive すぎて backbone 層が十分学習できず
+- LB 提出済み (2026-02-16 02:28)
+
+### 知見
+- Layer-wise LR Decay で lr_decay_rate=0.75 は EVA-02 Large (24 blocks) には aggressive すぎる
+  - 最浅層の LR: 2e-5 × 0.75^26 ≈ 1.13e-8 → ほぼ学習しない
+  - 推奨: lr_decay_rate=0.9~0.95 程度に留めるべき
+- Warmup + EMA の効果は lr_decay_rate の問題に埋もれて評価不可能
+
+## exp007 ハイパーパラメータ再実験
+
+### 実験設計
+| Config | Layer-wise LR | decay_rate | 最浅層 LR | Warmup | EMA | 狙い |
+|--------|--------------|------------|-----------|--------|-----|------|
+| exp=001 | ON | 0.95 | 5.3e-6 | 1.0ep | ON | decay_rate 緩和で backbone 学習回復 |
+| exp=002 | OFF | - | 2e-5 (全層同一) | 1.0ep | ON | Warmup+EMA のみの効果検証 |
+
+### exp=001 結果 (10ep, Layer-wise LR decay_rate=0.95 + Warmup + EMA)
+- **Best Loss**: 0.3466 (at epoch 10)
+- **Accuracy**: 95.56%
+- **Similarity scores**: Baseline=0.826, TTA=0.827, Rerank=0.775, Blend=0.785
+- Layer-wise LR: embed=5.29e-6 → head=2.0e-5 (0.95^26 ≈ 0.264)
+- exp004 (Loss 0.1355, Acc 98.47%) より劣る → decay_rate=0.95 でも Layer-wise LR は有害
+- LB 提出済み (2026-02-16)
+
+### exp=002 結果 (10ep, Warmup+EMA のみ, Layer-wise LR OFF)
+- **Best Loss**: 0.1904 (at epoch 10)
+- **Accuracy**: 97.83%
+- **Similarity scores**: Baseline=0.776, TTA=0.777, Rerank=0.732, Blend=0.741
+- 全層同一LR (2e-5) + Warmup(1ep) + EMA(0.999)
+- exp004 (Loss 0.1355, Acc 98.47%) に迫るが及ばず
+- LB 提出済み (2026-02-16)
+
+### 全結果比較
+| Config | Layer-wise LR | Best Loss | Accuracy | Sim Baseline | Sim Blend |
+|--------|--------------|-----------|----------|-------------|----------|
+| exp=000 | ON (0.75) | 4.4556 | 48.94% | 0.890 | 0.844 |
+| exp=001 | ON (0.95) | 0.3466 | 95.56% | 0.826 | 0.785 |
+| exp=002 | OFF | 0.1904 | 97.83% | 0.776 | 0.741 |
+| exp004 baseline | - | 0.1355 | 98.47% | 0.894 | 0.869 |
+
+### 知見
+- **Layer-wise LR Decay は EVA-02 Large に対して無効〜有害**: decay_rate=0.95 でも Acc 95.56% で exp004 (98.47%) を下回る
+- **Warmup + EMA のみ (exp=002)**: Loss 0.1904, Acc 97.83% と改善するが exp004 (Loss 0.1355) には及ばない
+- **Similarity scores の逆転**: 学習品質が良い exp=002 (Loss 0.1904) の方が similarity が低い (0.776 vs exp=000 の 0.890)。EMA weights の影響で embedding 空間が変化している可能性
+- **結論**: Layer-wise LR / Warmup / EMA の3改善はいずれも exp004 ベースラインを超えられず。他のアプローチに注力すべき

weights/exp004_0938_optimal_blending/000/best_model.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:28f255cd6169e02a512efcf3fc92b542b82489d041d0fb38e96a3f3595021fd2
+size 1216542886

weights/exp005_pseudo_labeling/000/best_model_finetuned.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:dd7d6149827e8643e0be38447e66eb3b23039b52614a1e010315f7d13548ca8b
+size 1216547636

weights/exp006_dinov2/001/best_model.pth

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:157ce23cf61f7c8de8d79333c1f4da8d0668e02e7101554370b290a4f33ba343
+size 1217766959