Are you ok?
Я дико извиняюсь, а вообще норм запускать на инстракт кодинг-задачах base модели? У вас метрики Code рассчитаны только для base. Или надо светануть перед манагерами сберовскими, что дипсик (который вдвое меньше) обошли?
Господа, я все конечно понимаю - но почему вы не выпустите модель на 26b или 31b параметров - я бы с радостью использовал ее вместо Gemma или Qwen - просто понимая, что вы можете. Но разворачивать кластер, чтобы просто попробовать эту модель - это ту мач.
Я очень рад, что вы используете собственную архитектур 🩷
Господа, я все конечно понимаю - но почему вы не выпустите модель на 26b или 31b параметров - я бы с радостью использовал ее вместо Gemma или Qwen - просто понимая, что вы можете. Но разворачивать кластер, чтобы просто попробовать эту модель - это ту мач.
Будут скорее всего модели меньшего размера. Тут же написано gigachat 3.5 ultra, значит будет lightning как в поколений 3 и 3.1
Кому не вкатывает - попробуйте разработать свою модель, выложите ее на https://huggingface.co/ и читайте таких как вы в комментах.
Если по делу - инженеры молодцы! Ждем ваших достижений!
Кому не вкатывает - попробуйте разработать свою модель, выложите ее на https://huggingface.co/ и читайте таких как вы в комментах.
Если по делу - инженеры молодцы! Ждем ваших достижений!
К чему ты это? Насчёт модели: все, кто здесь писал, не сказали о ней ничего плохого. Наоборот, сама дискуссия показывает, что она интересна
Кому не вкатывает - попробуйте разработать свою модель, выложите ее на https://huggingface.co/ и читайте таких как вы в комментах.
Если по делу - инженеры молодцы! Ждем ваших достижений!
Аргументация уровня детского сада примерно. Мне не нужно создавать еще одну слабую модель, чтобы утверждать, что текущая слабая. Для этого есть метрики. Я просто возьму дипсик, glm, qwen и все.
Кому не вкатывает - попробуйте разработать свою модель, выложите ее на https://huggingface.co/ и читайте таких как вы в комментах.
Если по делу - инженеры молодцы! Ждем ваших достижений!К чему ты это? Насчёт модели: все, кто здесь писал, не сказали о ней ничего плохого. Наоборот, сама дискуссия показывает, что она интересна
я увидел в первом сообщении не прямой но скрытый смысл
Кому не вкатывает - попробуйте разработать свою модель, выложите ее на https://huggingface.co/ и читайте таких как вы в комментах.
Если по делу - инженеры молодцы! Ждем ваших достижений!К чему ты это? Насчёт модели: все, кто здесь писал, не сказали о ней ничего плохого. Наоборот, сама дискуссия показывает, что она интересна
я увидел в первом сообщении не прямой но скрытый смысл
На него не смотри 😌
Кому не вкатывает - попробуйте разработать свою модель, выложите ее на https://huggingface.co/ и читайте таких как вы в комментах.
Если по делу - инженеры молодцы! Ждем ваших достижений!К чему ты это? Насчёт модели: все, кто здесь писал, не сказали о ней ничего плохого. Наоборот, сама дискуссия показывает, что она интересна
я увидел в первом сообщении не прямой но скрытый смысл
Модель получилась реально неплохой, тем более архитектурна
Надеюсь кто то выполнит квантование этой модели для уменьшения размера весов...
Надеюсь кто то выполнит квантование этой модели для уменьшения размера весов...
https://huggingface.co/ai-sage/GigaChat3.5-432B-A28B-GGUF уже есть официальные кванты. Я бы мог сделать более агрессивные кванты с ручным распределением весов. Но тоже смысла особого нет - модель слишком большая, 432 миллиарда, не будет такого кванта, который влезет в 128 гиговую машину. Если только Q1 который совсем мусор. А если у вас больше vram, то нет смысла от сберовской модели, так как есть варианты куда более мощнее.
В целом очень приятно видеть, что российская нейронка тоже есть, существует и развивается, и даже выходит в опенсурс. Сбер молодцы.
Надеюсь кто то выполнит квантование этой модели для уменьшения размера весов...
https://huggingface.co/ai-sage/GigaChat3.5-432B-A28B-GGUF уже есть официальные кванты. Я бы мог сделать более агрессивные кванты с ручным распределением весов. Но тоже смысла особого нет - модель слишком большая, 432 миллиарда, не будет такого кванта, который влезет в 128 гиговую машину. Если только Q1 который совсем мусор. А если у вас больше vram, то нет смысла от сберовской модели, так как есть варианты куда более мощнее.
В целом очень приятно видеть, что российская нейронка тоже есть, существует и развивается, и даже выходит в опенсурс. Сбер молодцы.
впишите модель в 192gb VRAM (включая KV cache) - нужен просто качественный q4 квант. желаемый размер весов 130-150Gb
Надеюсь кто то выполнит квантование этой модели для уменьшения размера весов...
https://huggingface.co/ai-sage/GigaChat3.5-432B-A28B-GGUF уже есть официальные кванты. Я бы мог сделать более агрессивные кванты с ручным распределением весов. Но тоже смысла особого нет - модель слишком большая, 432 миллиарда, не будет такого кванта, который влезет в 128 гиговую машину. Если только Q1 который совсем мусор. А если у вас больше vram, то нет смысла от сберовской модели, так как есть варианты куда более мощнее.
В целом очень приятно видеть, что российская нейронка тоже есть, существует и развивается, и даже выходит в опенсурс. Сбер молодцы.впишите модель в 192gb VRAM (включая KV cache) - нужен просто качественный q4 квант. желаемый размер весов 130-150Gb
На 192 сможете запустить топовую hy3. У гигачата сами посмотрите какой низкий swe bench
Надеюсь кто то выполнит квантование этой модели для уменьшения размера весов...
https://huggingface.co/ai-sage/GigaChat3.5-432B-A28B-GGUF уже есть официальные кванты. Я бы мог сделать более агрессивные кванты с ручным распределением весов. Но тоже смысла особого нет - модель слишком большая, 432 миллиарда, не будет такого кванта, который влезет в 128 гиговую машину. Если только Q1 который совсем мусор. А если у вас больше vram, то нет смысла от сберовской модели, так как есть варианты куда более мощнее.
В целом очень приятно видеть, что российская нейронка тоже есть, существует и развивается, и даже выходит в опенсурс. Сбер молодцы.впишите модель в 192gb VRAM (включая KV cache) - нужен просто качественный q4 квант. желаемый размер весов 130-150Gb
На 192 сможете запустить топовую hy3. У гигачата сами посмотрите какой низкий swe bench
Нативный русский, большой русский корпус? или неее?
Надеюсь кто то выполнит квантование этой модели для уменьшения размера весов...
https://huggingface.co/ai-sage/GigaChat3.5-432B-A28B-GGUF уже есть официальные кванты. Я бы мог сделать более агрессивные кванты с ручным распределением весов. Но тоже смысла особого нет - модель слишком большая, 432 миллиарда, не будет такого кванта, который влезет в 128 гиговую машину. Если только Q1 который совсем мусор. А если у вас больше vram, то нет смысла от сберовской модели, так как есть варианты куда более мощнее.
В целом очень приятно видеть, что российская нейронка тоже есть, существует и развивается, и даже выходит в опенсурс. Сбер молодцы.впишите модель в 192gb VRAM (включая KV cache) - нужен просто качественный q4 квант. желаемый размер весов 130-150Gb
На 192 сможете запустить топовую hy3. У гигачата сами посмотрите какой низкий swe bench
Нативный русский, большой русский корпус? или неее?
Думаю, будет меньшая модель, как в предыдущих поколениях (Ultra и Lightning). Может, две недели...