KBLaM: Инновационная Архитектура Интеграции Знаний от Microsoft Research

Microsoft Research делает яркий шаг в мир языковых моделей, представляя KBLaM — архитектуру, созданную для решения одной из самых актуальных задач в области больших языковых моделей (LLM): интеграции новых внешних знаний. Это не просто очередное улучшение — KBLaM меняет сам подход к тому, как мы взаимодействуем с знанием и моделями.

Уникальный Подход к Интеграции Знаний

При разработке KBLaM команда фокусировалась на устранении ограничений традиционных методов, таких как файнтюнинг и Retrieval-Augmented Generation (RAG). Вместо того, чтобы полагаться на постоянные дообучения, KBLaM использует векторные пары «ключ-значение» для кодирования новых структурированных данных. Эти пары встраиваются непосредственно в слои внимания модели, что делает процесс интеграции значительно более эффективным и масштабируемым. Необходимо всего лишь 10 000 триплетов для создания мощной базы знаний без необходимости в сложных модулях или дорогом обучении.

Что такое Триплеты?

Основная единица знания в KBLaM — триплет, который состоит из трех компонентов: сущности, свойства и значения. Это может показаться простым, но именно в этой структуре кроется мощь новой архитектуры. Например, в утверждении «Москва — столица России» «Москва» является сущностью, «столица» — свойством, а «Россия» — значением. Этот подход позволяет эффективно организовывать знания и обращаться к ним в любой момент, что значительно улучшает качество работы модели.

Эффективность и Прозрачность

Одной из самых интересных характеристик KBLaM является его механизм внимания. В отличие от традиционных архитектур, здесь языковые токены взаимодействуют с токенами знаний, но обратного взаимодействия не происходит. Это не только улучшает вычислительные затраты до линейных, позволяя обрабатывать эквивалент 200 тысяч токенов на одном GPU, но и добавляет уровень прозрачности — пользователи могут визуализировать, на какие факты опирается модель.

Эксперименты с KBLaM продемонстрировали, что этот подход не только эффективен, но и уменьшает риск «галлюцинаций». Например, при медицинском диагнозе внимание к соответствующим триплетам минимизирует вероятность неверного ответа. Если информация о запросе отсутствует в базе знаний, модель отказывается отвечать, что подчеркивает ее надежность и точность.

Мост между Знаниями и Реальным Мировом

По мнению авторов, KBLaM — это не просто эволюция LLM, а мост, соединяющий обученные модели и постоянно обновляемый мир знаний. Степень нужды в интеграции новых данных в режиме реального времени делает эту архитектуру особенно важной для будущих исследований и применений.

Поддержка и Лицензирование

KBLaM также предоставляет доступ к коду, опубликованному на GitHub, что открывает возможность для дальнейших экспериментов и изучения архитектуры. Поддерживаемые модели включают:

• 🟢 Llama-3-8B-Instruct
• 🟢 Llama-3.2-1B-Instruct
• 🟢 Phi-3-mini-4k-instruct

Кроме того, в проекте задействованы такие эмбеддинги, как:

• 🟠 text-embedding-ada-002
• 🟠 all-MiniLM-L6-v2

Для пользователей, заинтересованных в расширении поддержки других моделей, важно помнить, что потребуется внести изменения в скрипты обработки и добавить адаптеры, аналогичные файлу llama_model.py в src/kblam/models.

Итоги

KBLaM представляет собой захватывающее направление в области языковых моделей, которое ставит знания на передний план и делает модель более адаптивной и прозрачной. Такой подход может кардинально изменить то, как мы строим и используем LLM в будущем. С каждым новым шагом в исследовательской области, таких как KBLaM, мы приближаемся к созданию действительно «умных» систем, которые могут работать с динамически обновляемыми знаниями в реальном времени.

📌 Лицензирование: MIT License.

🟡 Статья
🖥 GitHub

@ai_machinelearning_big_data

#AI #ML #LLM #MicrosoftResearch #KBLaM

KBLaM: Новая архитектура знаний для языковых моделей от Microsoft ver 0
Ширина: 1280 px
Высота: 640 px
Соотношение сторон.: 2:1

Скачать

KBLaM: Новая архитектура знаний для языковых моделей от Microsoft ver 1
Ширина: 1280 px
Высота: 720 px
Соотношение сторон.: 16:9

Скачать

KBLaM: Новая архитектура знаний для языковых моделей от Microsoft ver 2
Ширина: 547 px
Высота: 236 px
Соотношение сторон.: 547:236

Скачать

KBLaM: Новая архитектура знаний для языковых моделей от Microsoft ver 3
Ширина: 628 px
Высота: 209 px
Соотношение сторон.: 628:209

Скачать

KBLaM: Новая архитектура знаний для языковых моделей от Microsoft ver 4
Ширина: 1531 px
Высота: 832 px
Соотношение сторон.: 1531:832

Скачать