Тесты сжатия
Некоторые части моделей могут работать в сжатом (квантованном) виде, которому нужно меньше видеопамяти. Model Forge использует сжатую часть, только когда она проверена в сравнении с оригиналом. Результаты приведены здесь.
Текстовый кодировщик MOSS-Image Base
Текстовый кодировщик превращает ваш запрос и описания в числа для модели картинок. На уровне 16 ГБ он работает на видеокарте в 8-битном виде (int8), на уровне 24 ГБ — в полной точности (bf16). Сама модель картинок никогда не сжимается.
Как проверяли: 8 запросов, каждый нарисован с кодировщиком в полной точности и с каждым сжатым, с одним и тем же зерном. Затем картинки оценили по тому, насколько они соответствуют запросу (оценка CLIP, больше — лучше), и по тому, насколько они отличаются от картинки в полной точности (LPIPS, меньше — ближе).
| Текстовый кодировщик | Видеопамять при кодировании | Соответствие запросу (CLIP) | Отличие от полной точности (LPIPS, среднее) |
|---|---|---|---|
| Полная точность (bf16) | 15,7 ГБ | 28,38 | — |
| 8 бит (int8), по умолчанию для 16 ГБ | 8,9 ГБ | 28,43 | 0,134 |
| 4 бита (nf4) | 5,9 ГБ | 28,50 | 0,167 |
8-битный кодировщик соответствует запросам так же хорошо, как кодировщик в полной точности, и занимает примерно вдвое меньше памяти, поэтому на картах 16 ГБ он используется по умолчанию. 4-битный тоже соответствует запросам, но его картинки сильнее отходят от оригинала, поэтому он доступен только как вариант.
Выбор можно изменить в командной строке параметром --te-quant auto|none|int8|nf4 команды lora train (auto — значение по умолчанию для уровня). Подробнее — на странице MOSS-Image (на английском).
Обучение на каждом уровне
Обучение измерялось с кодировщиком, который используется на уровне по умолчанию; см. Предустановки → Измеренные цифры.
Тесты для опытных пользователей
Инструмент командной строки также сравнивает сжатые языковые модели и модели картинок с оригиналами. Для этих тестов нужна видеокарта NVIDIA; они рассчитаны на опытных пользователей: