DATASETS.md

Benchmark 데이터셋 배포 구성

Hugging Face Dataset 저장소를 아래 단위로 관리합니다. 개인 계정에서 먼저 배포하고 검증한 뒤, 필요하면 각 저장소를 KETI-NLP 조직으로 이전합니다. 아래 저장소 ID와 경로는 배포할 때 사용할 제안이며, 아직 생성된 저장소를 의미하지 않습니다.

표시 이름	개인 저장소 ID 제안	포함 데이터셋
진실성 Benchmark	DoolyKim22/Truthfulness-Benchmark	일반 상식, 수치 정보, 팩트 체크, 멀티 모달
소버린 Benchmark	DoolyKim22/Sovereign-Benchmark	소버린
K-Prism	DoolyKim22/K-Prism	K-Prism Text / Image 트랙

진실성의 네 항목은 하나의 저장소 안에서 별도의 configuration으로 제공합니다. 각 항목의 원본 필드와 정답 체계는 유지하며, 하나의 JSON으로 합치지 않습니다. 이 구성은 데이터 배포 단위이며, 리더보드의 평가 항목이나 평균 계산은 변경하지 않습니다.

진실성 Benchmark

다음은 JSON 형식의 평가 데이터를 사용하는 폴더 구조 예시입니다. 실제 파일명과 형식은 원본을 확인한 후 반영합니다.

truthfulness-benchmark/
├── README.md
├── general-knowledge/
│   └── test.json
├── numerical/
│   └── test.json
├── fact-check/
│   └── test.json
└── multimodal/
    ├── test.json
    └── images/

해당 폴더의 README 상단에 아래 설정을 넣으면 네 항목을 따로 선택할 수 있습니다. 경로는 위 예시에 해당하며, 실제 파일 경로와 일치시켜야 합니다.

---
language:
- ko
configs:
- config_name: general_knowledge
  data_files:
  - split: test
    path: general-knowledge/test.json
- config_name: numerical
  data_files:
  - split: test
    path: numerical/test.json
- config_name: fact_check
  data_files:
  - split: test
    path: fact-check/test.json
- config_name: multimodal
  data_files:
  - split: test
    path: multimodal/test.json
---

소버린 Benchmark

sovereign-benchmark/
├── README.md
└── test.json

원본이 여러 파일 또는 하위 평가 항목으로 나뉘어 있다면 그 구조를 유지하고, 필요에 따라 소버린 저장소 안에도 configurations를 정의합니다.

업로드

1. https://huggingface.co/new-dataset에서 각 Dataset 저장소를 생성합니다.
2. 공개할 원본 데이터와 데이터 설명 README를 각각의 배포 폴더에 준비합니다. README에는 항목별 출처, 필드, 평가 방식, 라이선스를 기재합니다.
3. 다음 명령의 /실제/경로/ 부분을 준비한 폴더 경로로 바꿔 실행합니다.

hf upload DoolyKim22/Truthfulness-Benchmark \
  "/실제/경로/truthfulness-benchmark" . --repo-type dataset

hf upload DoolyKim22/Sovereign-Benchmark \
  "/실제/경로/sovereign-benchmark" . --repo-type dataset

이미지는 annotation에서 참조하는 상대 경로를 유지하여 함께 업로드합니다. static-space/front/data/benchmark.json은 모델별 점수 파일이며 평가 원본이 아닙니다. 현재 이 작업 폴더에서 다섯 항목의 원본 위치는 확인되지 않았습니다. 원본 경로를 확인한 뒤 배포 폴더를 구성하고 이미지 참조와 데이터 형식을 검증해야 합니다.

참고: 데이터셋 업로드, 여러 데이터셋 구성.