Обновление Codestral от Mistral: Новый уровень производительности

Недавно компания Mistral представила обновлённую версию своего продукта Codestral, которая получила номер 25.01. Эта версия не только стала значительно более умной, но и демонстрирует вдвое большую скорость работы, благодаря улучшенному токенизатору и обновлённой архитектуре. По утверждению разработчиков, Codestral занимает первое место на площадке Copilot Arena. Однако, стоит отметить, что результаты тестирования пока не опубликованы, что оставляет вопросы относительно реальной эффективности обновления.

Интересно, что в новых бенчмарках мы снова наблюдаем разнообразные манипуляции с данными. Например, в сравнении отсутствует Qwen 2.5 Coder, а представителей семейства Llama представляют не самые современные модели, такие как Codellama 70B, запущенные полтора года назад, вместо более свежей Llama 3.3.

Что касается сравнения с моделями DeepSeek, оно было проведено, но только с теми моделями, которые имеют менее 100 миллиардов параметров. В результате сильные модели типа MoE (Mixture of Experts) не попали в это исследование. Несмотря на то что Codestral позиционируется на уровне скидочных цен DeepSeek V3 – $0.09 за входные токены и $0.30 за выходные, отсутствие возможности caching (кэширования контекста) в продуктах Mistral может существенно повысить расходы при реальном использовании. Например, в сценариях, напоминающих разработку с Copilot, более 95% входных токенов часто используется повторно.

Сейчас мы ожидаем независимых бенчмарков, чтобы получить полноценное представление о соотношении цены и качества новых моделей. К сожалению, доступ к весам моделей остаётся закрытым, даже при использовании кастрированной лицензии. Однако все желающие могут попробовать обновлённый Codestral бесплатно через плагин continue.dev, который доступен для популярных платформ, таких как VS Code и JetBrains.

Таким образом, обновление Codestral открывает новые горизонты для разработчиков и исследователей в области машинного обучения, несмотря на некоторые спорные моменты в тестировании и доступности данных. Будущее обещает множество интересных возможностей для интеграции искусственного интеллекта в процессы разработки программного обеспечения.