Обучение нейросети без backprop свелось к k-means

Автор эксперимента на платформе «Хабр» проверил, можно ли обучать скрытый слой нейросети без обратного распространения ошибки, используя только локальные хеббовские правила. В основе подхода — статья Krotov & Hopfield (2019) «Unsupervised learning by competing hidden units», где нейроны конкурируют за активность: победитель подтягивает веса к входу, а занявший k-е место отталкивается. Дополнительно применяется правило Ойи для ограничения нормы весов.

Результат оказался скромным: в итоге обучение свелось к обычному k-means. Локальное правило обгоняет k-means с той же архитектурой максимум на полпроцента и не превосходит backprop ни по точности, ни при малом числе меток, ни по устойчивости к забыванию. Автор отмечает, что сравнение со случайными весами и сырыми пикселями выглядит выигрышно, но почти весь прирост даёт кластеризация.

В ходе экспериментов обнаружились неожиданные проблемы. На прототипе с датасетом sklearn digits 44% нейронов оказались мёртвыми — они побеждали менее чем в 0,1% примеров и не обновлялись. При переносе на MNIST те же гиперпараметры вызывали коллапс: один нейрон побеждал на всех примерах, точность падала до 0,198. Причина — ловушка в правиле: нейрон, который слишком часто отталкивали, уходил в область отрицательных активаций, где ReLU всегда выдаёт ноль.

Решением стало введение адаптивного порога для каждого нейрона (метод DeSieno, Földiák, Diehl & Cook). Если нейрон побеждает чаще, чем 1/N, порог растёт, иначе падает; в конкуренции участвует разность активности и порога. Это полностью локальное правило: доля мёртвых нейронов упала до 0–0,2%, коллапс исчез во всём проверенном диапазоне learning rate и силы отталкивания. Однако точность почти не изменилась — разница на MNIST составила -0,16 ± 0,20 п.п., то есть шум.

Автор подчёркивает важность корректной методологии. Каждый эксперимент менял ровно один параметр, запускался на пяти сидах, а разница считалась значимой только при превышении двух стандартных отклонений. Гиперпараметры подбирались по validation, test открывался один раз. На маленьком датасете digits разброс между разбиениями (1,2 п.п.) оказался больше, чем между сидами (0,5 п.п.), что делает выводы по одному разбиению ненадёжными.

Сравнение с k-means показало, что при отключённом отталкивании (δ=0) правило с порогом даёт 0,9406 ± 0,0008, а k-means — 0,9410 ± 0,0008. Весь выигрыш сверх кластеризации (+0,5 п.п.) обеспечивает отталкивание второго по силе нейрона. Автор советует сразу включать k-means в эталоны, чтобы не переоценивать эффект локальных правил.

Эксперименты проводились на numpy для прозрачности каждого обновления весов; один прогон на MNIST занимает около 30 секунд на Apple M4 Pro. Помимо MNIST, проверка велась на Fashion-MNIST. Итог: хеббовское обучение без backprop может быть стабильным и интерпретируемым, но не даёт преимуществ перед классическими методами, а его главный эффект — кластеризация, близкая к k-means.