9 материалов · хроника по теме
Автор собрал набор примеров с известным ответом и прогнал проверку, где ИИ-модель играет читателя. Сильно правленые тексты она пропускала чаще, чем возвращала, что указывает на слабость такого способа контроля правок промптов.
Вышедшую 6 октября Nano Banana 2.1 сравнили с Nano Banana 2, Pro и GPT Image 2.5 на 14 задачах с русскими промптами, включая текст прямо на изображении. Все четыре модели уложились в 5 пунктов из 76, но ошибались по-разному.
Автор написал локальный инструмент AIWorks, который следит за работой Claude Code и напоминает агенту о продолжении задачи. За сутки система отправила 63 пул-реквеста к самой себе.
Команда из четырёх ИИ-субагентов обнаружила баг с повторной оплатой, который пропустил одиночный агент. На скрытых тестах команда набрала 8/8 против 7/8 у одиночного запуска.
Тимлид двух продуктовых команд рассказал, как за полгода перевёл всех разработчиков на агентскую разработку и что произошло с количеством багов. Материал описывает практический опыт отказа от ручного кодинга.
Автор проверил семь популярных добавок к промптам на кодинг-агенте: пять задач, скрытые тесты, 156 прогонов. Чаевые помогли, но сильнее всех подняли счёт, а приписка «ты senior Python-разработчик» провалила задачу 8 раз из 8 при уверенных отчётах об успехе.
Автор рассматривает проблему приёмки результатов рабочих ИИ-агентов, которые могут убедительно сообщать о выполнении задачи. Предложены критерии проверки фактически сделанной работы.
Автор собрал домашний сервер на старой Tesla V100 32 ГБ и провёл замеры скорости локальных моделей до 120 млрд параметров. Часть первоначальных выводов оказалась ошибками измерения.
Автор собрал конвейер из 58 блоков, который превращает техническое задание в канонизированные требования и тест-дизайн с гейтами доверия. На синтетическом ТЗ система поймала девять ловушек из десяти, десятую выявил человек по вопросам от машины.