DeepCoder 14B Preview: Прорыв в ИИ для программирования

Вышел DeepCoder 14B Preview: Прорыв в мире ИИ для программирования

С недавним выходом DeepCoder 14B Preview, мир искусственного интеллекта для кодирования вступил на новый уровень. Эта новая модель стала истинным лидером в 14B весовой категории и, похоже, вплотную приближается к таким соперникам, как o3-mini и o1, но только на низких настройках. Важно отметить, что существуют некоторые странности в сравнении с конкурентами, поскольку модель не тестируется против QwQ 32B, который считается основным соперником, и сравнивается с OpenAI лишь с низкими настройками. Это вызывает некоторые сомнения, ведь результаты DeepCoder, судя по всему, впечатляют. Даже для o3-mini на low-настройках обойти DeepCoder оказывается не так уж и просто.

DeepCoder создан на основе DeepSeek R1 Distill 14B, при этом дополненный обучением с использованием Reinforcement Learning (RL) на 24,000 задачах, связанных с кодированием. Такой подход заметно повысил качество программного кода по сравнению с предыдущими версиями, а также случайно улучшил результаты в математических задачах — что, безусловно, является приятным бонусом!

Этот проект был развит в коллаборации с Together AI, одним из облачных провайдеров, которые специализируются на технологиях искусственного интеллекта. Напоминаю, что я уже писал о их датасете RedPajama, который восстанавливает оригинальный датасет Llama, и теперь мы видим, как их усилия воплощаются в реальность.

Но, пожалуй, наиболее замечательной новостью является то, что авторы не только поделились весами модели, но и опубликовали код вместе с датасетом! Это значит, что вы можете без проблем скачать все это прямо сейчас с платформы 🤗 и GitHub. Такой доступ к ресурсам делает этот проект особенно ценным для разработчиков и исследователей.

Мы приближаемся к эпохе, когда маленькие и мощные модели могут запускаться локально — и стоит отметить, что 14B вполне способны работать на обычном оборудовании. Это создает возможность заменить проприетарные решения на более открытые и доступные варианты. В сфере программирования это становится особенно актуальным! Вдохновляюсь тем, как open source продолжает развиваться и обогащать наше сообщество.

В каждом нюансе этого анонса чувствуется мощный прогресс, и я уверен, что мы увидим еще больше интересных разработок в ближайшем будущем.