AI-статьи недели с Хабра

Qwen3.8-27B на двух RTX 3090 из коробки выдаёт 32 токена в секунду, хотя две карты по 936 ГБ/с столько выдавать не должны. Автор разбирает узкое место по частям и доводит генерацию до 74,8 токена, не трогая веса. Каждый флаг описан одинаково: зачем, что писать, что даёт и где ломается, — то есть карточку можно перенести на свою сборку.

Кэш провайдера — это префиксное дерево по токенам, и любая динамика в первой строке системного промпта обнуляет весь хвост. Автор показывает разрыв на живых вызовах и выкладывает инструмент, который находит виновника по логам. Если у вас агент с длинным системным блоком, это самая дешёвая правка счёта из возможных.

Команда не трогала веса модели, а переписала всё, что вокруг неё: системный промпт, описания инструментов и пять основных middleware (шестой подключается по надобности). Разбор полезен даже тем, у кого нет GigaChat: это готовый список того, обо что спотыкается агент на неидеальной модели, и как каждую поломку чинить текстом, а не дообучением.

Путь от AnythingLLM через LibreChat к связке «локальная модель + MCP-сервер», записанный командами, а не лозунгами. Главная мысль спорная и полезная: для аналитики RAG не подходит принципиально, потому что похожий по смыслу кусок текста — не то же самое, что точное число.

Разбор того, какие популярные библиотеки молча ходят в интернет при первом вызове и почему это всплывает только в закрытом контуре. Читать стоит и тем, у кого нет закрытого контура: те же скрытые загрузки означают, что ваш прод зависит от чужого блоб-хранилища и падает вместе с ним.

Код компилируется с первого раза, заливается без ошибок, а на экране цветной шум: модель не знает распиновку конкретной платы и уверенно её выдумывает. Автор собрал скиллы с картой ресурсов под восемь плат. Сам он называет это нехваткой контекста, и тогда приём напрашивается везде, где у модели нет фактов, но есть уверенный тон.

Вы запускаете большую MoE-модель через llama.cpp, а скорость в разы ниже ожидаемой. Три места, куда смотреть по порядку: скорость оперативной памяти, размещение слоёв и привязка потоков к ядрам. Полезно тем, что самая частая причина оказывается вообще не в настройках инференса.

Почему модель не видит дальше обученного окна и как это чинится масштабированием RoPE. Ценность не в теории, а в том, что автор даёт готовые значения множителей под конкретные модели и честно считает, во что растянутое окно обойдётся по памяти.

Спор «MCP или schema linking или вся схема в промт» разрешили замером на живой базе из 253 таблиц вместо аргументов уровня «мне кажется». Полезна не столько таблица результатов, сколько сама процедура: правила зачёта зафиксированы до прогонов, сравниваются наборы строк, а не тексты запросов. А заодно выясняется, что чаще всех ошибалась не модель.

Замена косинусной близости на LLM-судью в подборе кандидатов, доведённая до продакшена вместе с измерениями. Главное здесь не сам приём, а оснастка вокруг: детерминированный валидатор цитат и перестановочный тест, которые ловят самообман раньше, чем он доедет до прода.