Ладно, пусть сам ИИ и рассудит)

По существу правее zergzorg. Но точнее было бы сказать: проблема не столько в возрасте исследования, сколько в том, что оно вообще не исследовало ИИ-модели.

В issue приводится работа 2023 года как аргумент в пользу проекта, который заставляет ИИ-агента отвечать разработчику с матом. В комментариях zergzorg возражает против переноса результатов на модели 2026 года, а GomelHawk отвечает, что «связка мата и разработки» за это время не изменилась.

Почему исследование не доказывает пользу этого проекта

Исследовались:

примерно 3 800 публичных GitHub-репозиториев на C, содержащих английские ругательства;
около 7 600 других C-репозиториев;
соответствие кода стандартам, измеренное утилитой SoftWipe.

То есть объектом были репозитории, написанные людьми, а не ответы LLM, системные промпты, качество рассуждений агента или код, сгенерированный после матерной инструкции. ([HITS]1)

Результат действительно существовал: средний балл составил 5,87 против 5,41. Однако сам автор прямо написал:

это наблюдательная корреляция;
она может объясняться другими факторами;
мат не улучшает код автоматически;
статистическая значимость не гарантирует практической значимости или воспроизводимости. ([HITS]1)

Ограничения ещё уже: только язык C, только GitHub, только английские ругательства; автор осторожно относился даже к переносу результата на C++. При оценке также исключили предупреждения компилятора. ([HITS]1)

Что именно перепутал GomelHawk

Его тезис может быть правдоподобен в бытовом смысле: человеческая эмоциональная вовлечённость разработчиков вряд ли радикально изменилась между 2023 и 2026 годами.

Но это не отвечает на возражение. Здесь произошёл перенос сразу через несколько границ:

человеческие комментарии в C-коде → стиль общения ИИ-агента → качество сгенерированного ИИ кода.

Исследование не проверяло ни один из двух последних переходов. Более того, мат мог быть следствием опыта, вовлечённости, культуры конкретных проектов или сложности задач, а не причиной хорошего кода.

Сам репозиторий в основном меняет речевой стиль агента через уровни lite/full/ultra. Он даже честно указывает, что экономии токенов нет, а показатели технической точности и «ясности» поданы как юмористические метрики.

Даже свежий черновик IETF от мая 2026 года, ссылающийся на эту работу, отдельно предупреждает: корреляцию нельзя трактовать как рекомендацию добавлять ругательства ради повышения качества. ([IETF Datatracker]2)

Итог

zergzorg прав примерно на 80%. Исследование нельзя использовать как доказательство, что матерный режим улучшает современные coding-модели.

Но формулировку стоило сделать точнее:

«Это исследование не про модели 2023 года. Оно вообще не про модели: там наблюдали корреляцию в человеческих C-репозиториях. Чтобы обосновать этот скилл, нужен A/B-тест одной и той же модели с ним и без него на одинаковых задачах».

GomelHawk прав только в слабом утверждении, что старая корреляция среди людей могла сохраниться. В споре о доказательности проекта это почти ничего не меняет.

Исследования #3

Description

Metadata

Metadata

Assignees

Labels

Projects

Milestone

Relationships

Development

Issue actions