💥 ВАУ! Xiaomi выпустила MiMo-7B – маленькая, но МОЩНАЯ языковая модель, которая перевернула мой мир! 🤯

Ребята, вы только представьте! Xiaomi, эти ребята, которые делают крутые телефоны, внезапно выкатили набор языковых моделей MiMo-7B, и это просто БОМБА! 💣 Они доказали, что размер не всегда решает! Серьезно, 7 миллиардов параметров – это не так уж и много, но результаты просто сногсшибательные! 🚀

🔥 Почему это ОГРОМНАЯ новость?

Обычно, чем больше параметров у языковой модели, тем она круче. Но MiMo-7B разрушает эту устаревшую логику! Она обходит модели с 32 миллиардами параметров! Это как если бы ваш любимый электросамокат обгонял Ferrari на трассе! Просто невероятно! 🤩

Им удалось этого добиться благодаря гениальному подходу к обучению.

🧠 Секреты создания Мимо-7B: Как они это сделали?

Они начали с предтрейна на 25 триллионов токенов! Это просто ОГРОМНОЕ количество данных! Но этого было недостаточно. Они пересмотрели все процессы обработки данных. 🧐

• STEM-контент: В начале пути они сделали упор на STEM (наука, технология, инженерия, математика). 70% данных были посвящены этим дисциплинам! Это объясняет ее крутую математическую и техническую подкованность. 🤓
• Синтетические данные: Они добавили данные, сгенерированные другими топовыми моделями. Это как если бы они накормили модель опытом других мастеров! 🤯
• Уникальная стратегия смешивания: Они разработали свой собственный алгоритм, чтобы идеально сочетать разные типы данных.
• Расширенный контекст: Контекст был расширен до 32K токенов! Теперь модель может понимать гораздо более длинные и сложные тексты. 🤯
• Обучение с подкреплением (RL): Здесь начинается настоящее волшебство! 🧙‍♂️
  • 130 тысяч задач: Они обучили модель на массиве из 130 тысяч задач!
  • Rule-based награды: Использовали только rule-based награды, чтобы избежать "читерства".
  • Частичные баллы: Ввели систему частичных баллов, как на олимпиадах по информатике – даже за неидеальные решения!
  • Ресэмплинг: Они сбалансировали эффективность и стабильность обучения, используя ресэмплинг.

🏆 Результаты, которые меня просто ошеломили!

• LiveCodeBench v6: MiMo-7B-RL набрала 49.3%, обойдя QwQ-32B на 10 пунктов!
• AIME 2025: 55.4% против OpenAI o1-mini!
• BBH: Базовая версия модели показывает 75.2%, что выше аналогов своего класса!

Это не просто хорошие результаты - это настоящий прорыв! 🚀

🧩 Что входит в набор MiMo-7B?

• MiMo-7B-Base: Базовая модель с потенциалом рассуждений. Это как основа для всех остальных моделей.
• MiMo-7B-RL-Zero: RL-модель, обученная на основе базовой.
• MiMo-7B-SFT: SFT-модель, обученная на основе MiMo-7B-Base.
• MiMo-7B-RL: Та самая модель, которая обходит OpenAI o1-mini! Это реально круто! 😎

🛠️ Как использовать эту крутость?

Разработчики рекомендуют использовать их форк vLLM, но инференс и на HF Transformers работает! MIT License – это значит, что вы можете использовать эту модель для любых целей! 🥳

Обязательно загляните:

• [Набор моделей](ссылка на набор моделей)
• [Техотчет](ссылка на техотчет)
• [GitHub](ссылка на GitHub)

Xiaomi, вы просто гении! Я в восторге от этой новости! Это просто переворот в мире языковых моделей! 🤯✨ #AI #ML #LLM #RL #Xiaomi #MiMo