from enum import StrEnum class RunStatus(StrEnum): PENDING = "pending" RUNNING = "running" EVALUATING = "evaluating" COMPLETED = "completed" # 추론이 일부 샘플에서 실패해 results.jsonl 이 데이터셋 전체를 덮지 못한 채 # run 이 끝났을 때. 평가(evaluation) 실패는 이 상태에 영향을 주지 않는다 -- # 두 축(추론 완결성 vs 평가 성공률)을 하나의 상태 문자열에 욱여넣지 않는다. PARTIAL = "partial" FAILED = "failed" class PipelineType(StrEnum): SINGLE_STEP = "single_step" MULTI_STEP = "multi_step" class EvaluatorType(StrEnum): LLM_JUDGE = "llm_judge" LCS_DIFF = "lcs_diff" RULE_BASED = "rule_based" COMPOSITE = "composite" class DatasetSource(StrEnum): HUGGINGFACE = "huggingface" LOCAL = "local"