Встречайте KBLaM: Архитектура, о которой мечтали языковые модели

Microsoft Research решила открыть новую эру для языковых моделей с помощью своего свеженького творения — KBLaM. Эта архитектура словно надежный котенок, который легко влезает в мир, где информация меняется быстрее, чем успевает стильно одеться, и вот почему это круто.

Зачем KBLaM круче всего?

На фоне остальных методов интеграции знаний, таких как файнтюнинг или RAG, KBLaM выглядит как супергерой на фоне скучного офисного планктона. Вместо утомительного процесса дообучения, он обретает новые знания в виде пар «ключ-значение» и встраивает их в слои внимания модели. Это как если бы ваша любимая пицца заказывалась не с нового компонента, а просто с дополнительной порцией сыра — проще и без лишних затрат!

Что такое триплеты и зачем они нужны?

Теперь давайте разберем, что такое триплеты. Это не очередные фокусы в магическом шоу, а настоящая находка в мире знаний. Каждый триплет состоит из трех компонентов: сущности, свойства и значения. Взять, к примеру, «Москва — столица России». Здесь «Москва» — это наша сущность (она такая говорит), «столица» — это свойство (ни много ни мало), а «Россия» — значение (на постоянной основе!).

Прямоугольный механизм внимания: меньше затрат, больше ума

KBLaM базируется на так называемом «прямоугольном механизме внимания». Задача этого механизма — сделать вычислительные расходы линейными, позволяя обрабатывать колоссальные объемы информации. Ваш старенький GPU сможет справиться с эквивалентом 200 тысяч токенов! И это всё без необходимости пересчитывать базу знаний — одна простая правка в триплете, и информация обновилась. Какой жадный хороший кот, да?

Прозрачность на первом месте

Отличительная особенность KBLaM заключается в его прозрачности. Мы можем видеть, какие факты и каким образом использует модель. Например, если вам нужно узнать о медицинском диагнозе, модель будет полагаться на соответствующие триплеты, уменьшая риск появления «галлюцинаций». И если, не дай бог, информация окажется вне базы знаний, модельчик просто откажется отвечать. Вот это умный подход!

Мост между знаниями и реальностью

Разработчики KBLaM позиционируют свою архитектуру как нечто большее, чем просто технологический шаг вперед. Это своего рода мост между моделями, обученными на статичных данных, и миром, который не стоит на месте. С каждым новым триплетом мы получаем возможность интегрировать более актуальные и свежие знания не хуже, чем в новых российских реалиях.

Код на GitHub — готово к использованию!

Если вы думали, что на этом новости закончились, то нет! Код KBLaM уже представлен в репозитории на GitHub, где поддерживаются модели от Hugging Face, такие как:

• 🟢 Llama-3-8B-Instruct
• 🟢 Llama-3.2-1B-Instruct
• 🟢 Phi-3-mini-4k-instruct

И не забывайте про эмбеддинги для генерации базы знаний:

• 🟠 text-embedding-ada-002
• 🟠 all-MiniLM-L6-v2

Лицензия

К тому же, для тех, кто ценит легальность, лицензирование KBLaM осуществляется по MIT License.

Ссылка на статью, запомните: Статья на Arxiv и Код на GitHub.

Так что, если вы все еще не в курсе KBLaM, пора узнать больше! Это действительно что-то, что стоит оценить, не только чтобы говорить на вечеринках, но и чтобы быть в тренде в мире AI. #AI #ML #LLM #MicrosoftResearch #KBLaM

KBLaM: Революция в интеграции знаний для языковых моделей ver 0
Ширина: 547 px
Высота: 236 px
Соотношение сторон.: 547:236

Скачать

KBLaM: Революция в интеграции знаний для языковых моделей ver 1
Ширина: 1280 px
Высота: 640 px
Соотношение сторон.: 2:1

Скачать

KBLaM: Революция в интеграции знаний для языковых моделей ver 2
Ширина: 1280 px
Высота: 720 px
Соотношение сторон.: 16:9

Скачать

KBLaM: Революция в интеграции знаний для языковых моделей ver 3
Ширина: 628 px
Высота: 209 px
Соотношение сторон.: 628:209

Скачать

KBLaM: Революция в интеграции знаний для языковых моделей ver 4
Ширина: 1531 px
Высота: 832 px
Соотношение сторон.: 1531:832

Скачать