Предыдущая статья с подборкой моделей для русского

Все модели из списка были проверены мной лично и ведут себя именно как написано. Мой компьютер оборудован 64ГБ оперативной памяти. По расчетам, для запуска на GPU нужны именно две видеокарты RTX 3090 с 24 ГБ видеопамяти на каждой на одном компе: llama.cpp в cortex.so должна подцепить их автоматически и использовать их память совместно (ссылка).

1. Модель для Supervisor агента

Лучше всего для целей оркестрации роя агентов подходит Gemma 3. Нужно брать именно версию 27b, так как она работает без галлюцинаций: версия 12b подходит для генерации технической документации, но вызывает несуществующие инструменты. Версия 4b игнорирует часть системного промпта. Версия 4b спамит догадками и наводящими вопросами

Ссылка на модель

2. Модель для языковых переводов

Для переводов очень хорошо работает YandexGPT 5 Lite Instruct. В отличие от Saiga, эта версия не будет вызывать инструменты, но датасет сделан самим яндексом, что улучшает её лингвистические познания при переводах с английского на русский. Можно использовать в пайплайне, для приведения ответов от последующих моделей в красивый вид

Ссылка на модель

3. Модель для финансовой аналитики

Позволяет генерировать отчёты следующего вида, на русском языке

Отчет о среднесрочной перспективе на 19/05/2025
Отчет о прогнозируемом тренде биткоина (1-3 дня)
Дата анализа: 19 мая 2025 года
Анализ сигналов индикатора MACD
Последние сигналы MACD:
19 мая 2025, 13:30 (UTC)
Тип сигнала: BUY
Цена: 103032.46
Причина: MACD пересек сигнальную линию вверх
Сила сигнала: Сильный
Стратегия: Пересечение сигнальной линии
19 мая 2025, 13:30 (UTC)
Тип сигнала: BUY
Цена: 103032.46
...
Причина: Гистограмма MACD пересекла нулевую линию вниз
Сила сигнала: Средний
Стратегия: Пересечение нулевой линии
Прогноз тренда:
На основе последних сигналов MACD можно выделить следующие тенденции:
Позитивные сигналы (BUY): Начиная с 13:15 (UTC), наблюдается серия сигналов на покупку, включая сильные сигналы, такие как пересечение MACD сигнальной линии вверх и пересечение гистограммы нулевой линии вверх. Это указывает на возможное восстановление восходящего тренда.
Негативные сигналы (SELL): В 12:30 (UTC) были зафиксированы сильные сигналы на продажу, что указывает на кратковременное снижение цены.
Вывод:
В среднесрочной перспективе (1-3 дня) вероятен восходящий тренд для биткоина, учитывая преобладание сильных сигналов на покупку в последние часы. Однако следует учитывать возможные кратковременные коррекции. Рекомендуется следить за дальнейшими сигналами MACD для подтверждения тренда.

Ссылка на модель

4. Альтернатива Gemma 3, если не нравится стиль речи

Частично игнорирует system prompt, но умеет вызывать инструменты, в том числе, с enum. Для тех, кому не нравится глянцевость языка модели gemma

Ссылка на модель

5. Модель для отладки System Prompt

Если system prompt писали несколько разработчиков, тейки внутри могут противоречить друг другу. Для выявления, удобно использовать reasoning модели. Особо примечательно, что модель Qwen3 32B может не делать рассуждение, если system prompt содержит включение текста /no_think

Ссылка на модель