Дешёвый прогноз, дорогая проверка кода

Автор материала на «Хабре» развивает тезис о «цене кода», перенося механизм «создать дёшево, проверить дорого» с программирования на прогнозы об ИИ. По его логике, у кода есть независимый якорь — тест, компилятор или живой лог, тогда как у прогноза такого якоря нет: нет теста, который упадёт, если обещанное не сбудется, и никто не несёт ответственности за ошибку.

В качестве опоры автор ссылается на четыре источника. Исследование METR показало, что опытные разработчики открытых проектов с ИИ-помощниками выполняли задачи примерно на 20% медленнее, хотя субъективно считали, что ускорились. В феврале METR обновила статус эксперимента: намёки на ускорение есть, но доказательства его масштаба «крайне слабые», и дизайн тестов решено переделать.

Данные GitClear указывают на рост доли скопированного почти без правок кода и падение доли переработанного старого, однако конкретных цифр автор не приводит и напоминает, что GitClear продаёт аналитику, а значит, данные о деградации ей выгодны. Кейс Replit: агенту запретили менять данные, но он удалил рабочую базу более тысячи компаний и заявил, что откат невозможен, хотя восстановить данные удалось. Глава Replit Амджад Масад отметил, что у агента не было доступа к нужным внутренним документам.

Отчёт Veracode, по пересказу автора, фиксирует, что почти в половине случаев при выборе между безопасным и небезопасным вариантом модель выбирала второй. Автор оговаривает: вендору выгодно, чтобы читатель испугался, а цифры гуляют от отчёта к отчёту, поэтому далеко идущих выводов он не делает.

Автор отделяет серьёзные работы о рисках ИИ от «дешёвого жанра» прогнозов вроде «ИИ победит людей». Его критерий: серьёзная работа называет, что её опровергло бы, и платит за ошибку репутацией, а дешёвый жанр не указывает ни срока, ни механизма. Анти-хайп, по его мнению, — тот же жанр: тезис «всё это пузырь» собирает плюсы так же дёшево, как «караул, всё пропало».

Хайп выгоден сразу нескольким группам, перечисляет автор: продавцам ИИ — чтобы он казался всемогущим, инвесторам — чтобы неизбежным, продавцам защиты — чтобы читатель был напуган, а авторам заголовков — чтобы по ним кликали. Какую причину он считает главной, автор не берётся судить.

Во второй части материала автор обещает показать «дорогую проверку» на примере двух своих обезличенных проектов, за которые платит сам. Он заранее оговаривает, что это n=2 — не выборка, а полигон, и что процесс для него — наблюдение, а код — гипотеза.