Как обучить upscale-модель на ноутбуке с 4 ГБ

Автор с Хабра описал опыт обучения модели апскейла изображений на ноутбуке MSI Katana GF66 11UD с видеокартой RTX 3050 Ti и всего 4 ГБ видеопамяти. Цель проекта — автоматизировать реставрацию старых фотографий и видео, сохранив их аутентичность, поскольку готовые SaaS-сервисы либо платные, либо применяют избыточную резкость и плохо справляются с дефектами плёнки.

Задача сформулирована как supervised image-to-image translation: на вход подаётся изображение низкого разрешения с синтетическим шумом (гауссов шум, «соль и перец», квантование цвета), на выходе — изображение вдвое большего разрешения. Функция потерь комбинированная: L1 для попиксельной точности плюс perceptual loss на признаках предобученной VGG. Качество оценивается метриками PSNR и SSIM на отложенной валидационной выборке.

Главное ограничение — объём видеопамяти. Обучение на 4 ГБ идёт медленнее, чем на мощных картах, а в закрытом корпусе ноутбука GPU быстро упирается в лимит мощности и сбрасывает частоты. Автор отмечает, что архитектура Ampere поддерживает Tensor Cores для FP16/BF16, что помогает избежать ошибки CUDA out of memory ценой небольшой потери точности.

Значительная часть материала посвящена настройке софта на Windows. Драйвер NVIDIA нужно устанавливать первым шагом, поскольку начиная с CUDA 13.0 он больше не входит в установщик CUDA Toolkit. Версию CUDA следует выбирать не самую новую, а ту, под которую есть готовые wheel-пакеты PyTorch; для RTX 3050 Ti (Compute Capability 8.6) автор остановился на CUDA 13.0.

Автор предупреждает о типичных ошибках: не стоит ставить несколько версий CUDA параллельно без понимания управления переменными окружения, использовать сторонние зеркала для загрузки Toolkit или смешивать версии CUDA, cuDNN и PyTorch «на глаз». При установке рекомендуется режим Custom, чтобы снять ненужные компоненты вроде CUDA Samples и Documentation.

Отдельная сложность — обработка 4K-видео на одной видеокарте: приходится искать оптимальную конфигурацию тайлов, чтобы уложиться в доступную память. CPU ноутбука при этом не становится бутылочным горлышком и хорошо справляется с декодированием видео через FFmpeg и препроцессингом кадров.

Проект показывает, что даже на скромном железе можно разобраться в устройстве GAN-сетей и диффузионных моделей и собрать работающий прототип локального апскейлера. Однако путь требует терпения: от подбора комплектующих и настройки драйверов до борьбы с ошибками памяти и подбора параметров обработки видео.