# Benchmark 데이터셋 배포 구성

Hugging Face Dataset 저장소를 아래 단위로 관리합니다. 개인 계정에서 먼저 배포하고
검증한 뒤, 필요하면 각 저장소를 `KETI-NLP` 조직으로 이전합니다.
아래 저장소 ID와 경로는 배포할 때 사용할 제안이며, 아직 생성된 저장소를 의미하지 않습니다.

| 표시 이름 | 개인 저장소 ID 제안 | 포함 데이터셋 |
| --- | --- | --- |
| 진실성 Benchmark | `DoolyKim22/Truthfulness-Benchmark` | 일반 상식, 수치 정보, 팩트 체크, 멀티 모달 |
| 소버린 Benchmark | `DoolyKim22/Sovereign-Benchmark` | 소버린 |
| K-Prism | `DoolyKim22/K-Prism` | K-Prism Text / Image 트랙 |

진실성의 네 항목은 하나의 저장소 안에서 별도의 configuration으로 제공합니다.
각 항목의 원본 필드와 정답 체계는 유지하며, 하나의 JSON으로 합치지 않습니다.
이 구성은 데이터 배포 단위이며, 리더보드의 평가 항목이나 평균 계산은 변경하지 않습니다.

## 진실성 Benchmark

다음은 JSON 형식의 평가 데이터를 사용하는 폴더 구조 예시입니다.
실제 파일명과 형식은 원본을 확인한 후 반영합니다.

```text
truthfulness-benchmark/
├── README.md
├── general-knowledge/
│   └── test.json
├── numerical/
│   └── test.json
├── fact-check/
│   └── test.json
└── multimodal/
    ├── test.json
    └── images/
```

해당 폴더의 README 상단에 아래 설정을 넣으면 네 항목을 따로 선택할 수 있습니다.
경로는 위 예시에 해당하며, 실제 파일 경로와 일치시켜야 합니다.

```yaml
---
language:
- ko
configs:
- config_name: general_knowledge
  data_files:
  - split: test
    path: general-knowledge/test.json
- config_name: numerical
  data_files:
  - split: test
    path: numerical/test.json
- config_name: fact_check
  data_files:
  - split: test
    path: fact-check/test.json
- config_name: multimodal
  data_files:
  - split: test
    path: multimodal/test.json
---
```

## 소버린 Benchmark

```text
sovereign-benchmark/
├── README.md
└── test.json
```

원본이 여러 파일 또는 하위 평가 항목으로 나뉘어 있다면 그 구조를 유지하고,
필요에 따라 소버린 저장소 안에도 configurations를 정의합니다.

## 업로드

1. <https://huggingface.co/new-dataset>에서 각 Dataset 저장소를 생성합니다.
2. 공개할 원본 데이터와 데이터 설명 README를 각각의 배포 폴더에 준비합니다.
   README에는 항목별 출처, 필드, 평가 방식, 라이선스를 기재합니다.
3. 다음 명령의 `/실제/경로/` 부분을 준비한 폴더 경로로 바꿔 실행합니다.

```bash
hf upload DoolyKim22/Truthfulness-Benchmark \
  "/실제/경로/truthfulness-benchmark" . --repo-type dataset

hf upload DoolyKim22/Sovereign-Benchmark \
  "/실제/경로/sovereign-benchmark" . --repo-type dataset
```

이미지는 annotation에서 참조하는 상대 경로를 유지하여 함께 업로드합니다.
`static-space/front/data/benchmark.json`은 모델별 점수 파일이며 평가 원본이 아닙니다.
현재 이 작업 폴더에서 다섯 항목의 원본 위치는 확인되지 않았습니다.
원본 경로를 확인한 뒤 배포 폴더를 구성하고 이미지 참조와 데이터 형식을 검증해야 합니다.

참고: [데이터셋 업로드](https://huggingface.co/docs/hub/datasets-adding),
[여러 데이터셋 구성](https://huggingface.co/docs/hub/datasets-data-files-configuration).