Feature Request: GGUF quantization for AliceAI-T5-35B
Hello Yandex AI Team,
Thank you for releasing this amazing model! The AliceAI-T5-35B architecture looks very promising.
I am writing to kindly request the release of GGUF-quantized versions of this model. While the FP16/BF16 weights are impressive, they are inaccessible to many users with consumer-grade hardware (e.g., NVIDIA RTX 3090/4090 or AMD Radeon RX 7900 XTX with 24GB VRAM).
Having GGUF versions (specifically Q4_K_M and Q5_K_M) would allow a much wider community to run AliceAI locally via llama.cpp, LM Studio, and other popular tools, significantly increasing the model's reach and adoption.
Thank you for your hard work and for contributing to the open-source community!
Best regards,
Sergey/Nlald
Перевод для вас:
«Здравствуйте, команда Yandex AI! Спасибо за выпуск этой потрясающей модели. Я пишу, чтобы вежливо попросить выпустить версии модели в формате GGUF. Хотя веса в BF16 впечатляют, они недоступны многим пользователям с потребительским железом (например, RTX 3090/4090 или RX 7900 XTX с 24 ГБ VRAM). Наличие GGUF (особенно Q4_K_M) позволит гораздо большему сообществу запускать AliceAI локально через llama.cpp, LM Studio и другие инструменты, что значительно увеличит охват модели. Спасибо за ваш труд!»