приведение routed_scaling_factor к float для исправления ошибки строгой валидации
#1
by isbondarev - opened
Описание проблемы
При загрузке конфигурации модели через новые версии huggingface_hub возникает ошибка строгой проверки типов (StrictDataclassFieldValidationError):
TypeError: Field 'routed_scaling_factor' expected float, got int (value: 1)
Это происходит из-за того, что в config.json параметр routed_scaling_factor указан как целое число 1, тогда как внутренние датаклассы transformers / huggingface_hub ожидают тип float. В результате ломается инициализация AutoConfig и AutoTokenizer (например, при обучении через LlamaFactory).
Что изменено
Значение поля "routed_scaling_factor" изменено с 1 на 1.0 в файле config.json.