Яндекс вышел за пределы комфорта: встречаем YandexGPT 5 Lite! 😘

Согласитесь, до этого момента «Яндекс» держал свои мыльные пузыри под контролем, но теперь весь мир может увидеть их свежую программу. На этот раз они выбросили на просторы интернета модель YandexGPT 5 Lite со скромными 8 миллиардами параметров. Да, да, это та самая базовая версия, до пост-трейнинга, которая сейчас находит свое место на сервере энтузиастов.

По последним бенчмаркам, производительность новой модели слегка "поразила" LLaMA и Qwen тех же габаритов, особенно в русскоязычных задачах. На данный момент это очень хорошо, и лично я с нетерпением ждал этого момента, когда русская речь наконец-то начнет конкурировать с англоязычным контентом. 🥳

Но тут начинается интересное! Lite обучали с нуля, в то время как старшая версия — PRO прошла через «гибридное» обучение. Вкратце, они использовали стартовые параметры из чекпоинта Qwen 2.5 32B Base и затем разогнали модель на своих данных. Звучит как отличное решение проблем с ресурсами и временем! Интуитивно понятно, что это работа на опережение, не так ли? 💡

Что касаемо датасета — я не могу не восхититься масштабами. 15 триллионов токенов! Это прямо как с Llama 3! Тут же пришло на ум меньшинство — 30% русского текста и 70% английского. Печалька, что всего 15% составляют код, а 10% — математика. Так что если вы собираетесь использовать YandexGPT для вычисления математики или кодинга, вы можете немного заскучать, особенно сравнивая с Qwen.

Теперь про цензуру: в открытой модели ее нет, что радует! 🎉 А вот версия PRO уже готова к обнимашкам в чате с Алисой. Кажется, виртуальный друг стал заметно умнее и, похоже, его IQ подскочило до почти 40, хаха! Хотя среди программистов-затейников все идут за Клодом, я все равно считаю, что Яндекс тоже справляется неплохо, особенно если речь идет о русскоязычных запросах.

Не забывайте, что PRO доступна через API, и, если что, к ней даже можно добавить RAG. Это как дополнительная специя для ваших кулинарных экспериментов в мире технологий. 🌶️

Если вам интересно, что за магия стояла за тренировкой этой модели, я настоятельно рекомендую почитать блог-пост на Хабре. Там много интересного!

Собирайтесь, поднимайте свои лапки и пробуйте новую модель — пусть ваш внутренний айтишник займется волшебством! 🤗

@ai_newz