Обновление Hugging Face: Версия 0.30.0 библиотеки huggingface_hub

Итак, мир технологий снова потрясен очередным масштабным обновлением от Hugging Face! Вышла версия 0.30.0 библиотеки huggingface_hub, и это знаменует собой самое значительное обновление за последние два года. Давайте разберёмся, что новенького приготовила нам эта версия и как она может изменить подход к работе с большими моделями и датасетами.

Примечательные нововведения библиотеки

Одним из главных направлений обновления является интеграция с Xet, новейшим протоколом для хранения крупных объектов в Git-репозиториях. Это решение направлено на замену Git LFS, который, несмотря на свою популярность, имеет свои ограничения. В отличие от LFS, который работает на уровне файлов и выполняет дедупликацию, Xet делает это на уровне фрагментов данных. Это незаменимое улучшение для исследователей и разработчиков, работающих с массивными моделями и большими наборами данных.

Для начала работы с Xet необходимо установить дополнительную зависимость, выполнив команду:

pip install -U huggingface_hub[hf_xet]

После установки вы сможете загружать файлы из репозиториев, поддерживающих Xet, что делает процесс ещё более удобным и быстрым.

Другие полезные обновления

Кроме интеграции с Xet, в новой версии были внесены и другие важные улучшения:

• Расширение функционала InferenceClient: Теперь поддерживаются новые провайдеры для инференса, такие как Cerebras и Cohere. Это делает возможности библиотеки ещё более масштабными и адаптивными к требованиям рынка.

• Асинхронные вызовы для инференса: Особенно полезно для задач, таких как text-to-video, что значительно повышает стабильность и удобство работы. Это позволит разработчикам и исследователям более эффективно использовать ресурсы, не ожидая завершения каждого отдельного запроса.

• Улучшенный интерфейс командной строки (CLI): Теперь команду huggingface-cli upload можно использовать с шаблонами (wildcards) в пути к файлам, например:

  huggingface-cli upload my-model *.safetensors

  Это существенно упрощает процесс работы с многими файлами.

• Новая опция для команды huggingface-cli delete-cache: Добавленная возможность сортировки кэшированных репозиториев по размеру или другим параметрам сделает работу с кэшом более управляемой.

Заключение

Версия 0.30.0 библиотеки huggingface_hub представляет собой шаг вперед в эволюции инструментов для работы с большими моделями и датасетами. Интеграция с Xet, улучшение InferenceClient и обновления CLI делают эту библиотеку еще более мощной и удобной для разработчиков и исследователей. Я уверён, что с этими нововведениями Hugging Face продолжит работу над упрощением и оптимизацией процесса машинного обучения, делая его доступнее и эффективнее для всех.

Если вы хотите ознакомиться с полным списком обновлений, обязательно загляните в документацию и бложек на сайте Hugging Face, чтобы быть в курсе всех последних изменений и возможностей библиотеки!

Полезные ссылки

• Полный список обновлений
• Блог Hugging Face
• Документация по Xet

#huggingface #release #xet

Hugging Face анонсировала масштабное обновление библиотеки huggingface_hub 0.30.0 ver 0
Ширина: 1280 px
Высота: 482 px
Соотношение сторон.: 640:241

Скачать