Tether выпускает кроссплатформенный фреймворк BitNet LoRA, позволяющий тонкую настройку моделей с миллиардами параметров на потребительских устройствах.

PANews сообщил 21 марта, что Tether объявил о выпуске кроссплатформенного фреймворка тонкой настройки BitNet LoRA в QVAC Fabric, обеспечивающего оптимизацию для обучения и вывода Microsoft BitNet (1-битный LLM). Этот фреймворк значительно снижает требования к вычислительной мощности и памяти, позволяя обучать и тонко настраивать модели с миллиардами параметров на ноутбуках, потребительских GPU и смартфонах.

Это решение впервые обеспечивает тонкую настройку модели BitNet на мобильных GPU (включая Adreno, Mali и Apple Bionic). Тесты показывают, что модель с 125 миллионами параметров может быть тонко настроена примерно за 10 минут, модель с 1 миллиардом — примерно за 1 час, и она может быть даже расширена до модели с 13 миллиардами параметров на мобильных устройствах.

Кроме того, фреймворк поддерживает гетерогенное оборудование, такое как Intel, AMD и Apple Silicon, и впервые достигает тонкой настройки 1-битного LLM LoRA на устройствах, отличных от NVIDIA. С точки зрения производительности, модель BitNet достигает скорости вывода в 2-11 раз быстрее на мобильных GPU, чем на CPU, при этом снижая использование памяти до примерно 77,8% по сравнению с традиционными 16-битными моделями.

Tether заявил, что эта технология имеет потенциал для преодоления зависимости от высокопроизводительных вычислений и облачной инфраструктуры, содействия развитию обучения ИИ в направлении децентрализации и локализации, а также обеспечения основы для новых сценариев применения, таких как федеративное обучение.