Компания Yandex B2B Tech открыла клиентам доступ к новой технологии дообучения нейросетей методом LoRA (Low-Rank Adaptation). Этот подход позволяет компаниям быстро адаптировать модели под специализированные задачи, такие как написание писем в корпоративном стиле или извлечение важных данных из документов. При этом стоимость использования останется на уровне базовых версий нейросетей, что делает технологию доступной для бизнеса.
Какие нейросети можно дообучать с помощью LoRA?
На данный момент метод LoRA уже доступен для нейросетей YandexGPT и LLaMA с открытым исходным кодом. В ближайшее время его поддержка появится и для других моделей, которые можно запускать по запросу на выделенных мощностях, таких как Qwen и DeepSeek. Это позволит компаниям использовать несколько нейросетей одновременно, легко переключаться между ними и комбинировать их для решения различных бизнес-задач.
Преимущества технологии LoRA
Эксперты отмечают, что дообучение нейросетей повышает качество выполнения конкретных задач. Например, кастомизированные модели способны:
- лучше суммаризировать и классифицировать тексты,
- точнее следовать заданному формату ответов,
- придерживаться определенной роли в диалоге,
- выдавать более релевантные результаты при сложных запросах.
Интересно, что даже облегченные модели после дообучения могут работать лучше, чем мощные базовые версии нейросетей. Это особенно актуально, если требования к ответам сложны и не могут быть легко сформулированы в виде простых команд.
Одним из главных преимуществ LoRA является высокая скорость работы. Метод изменяет лишь небольшое количество параметров модели, опираясь на эталонные запросы и ответы, заранее заданные пользователем. Это позволяет достичь требуемого уровня точности за считаные минуты. Например, при работе с небольшими датасетами процесс дообучения занимает всего 10 минут.
LoRA уже используется бизнесом
CPO Yandex Cloud Григорий Атрепьев отметил, что LoRA уже широко применяется ML-разработчиками, включая специалистов «Яндекса». Более 100 компаний протестировали метод в рамках технического тестирования. Среди ключевых кейсов:
- разработка Telegram-ботов для ритейла,
- классификация пользовательских запросов в службах поддержки,
- генерация рекламного контента,
- создание автоматизированных решений для документооборота.
Например, компания Presentsimple.ai использует дообученную с помощью LoRA модель YandexGPT 4 Lite для автоматического создания презентаций. Дообучение проводилось на данных работы Pro-версии, что позволило снизить стоимость генерации презентаций в шесть раз. При этом модель выполняет задание по заданным параметрам (количество символов, предложений, стиль), а создание серии объемных слайдов теперь занимает всего 30-40 секунд.
Развитие YandexGPT и будущее технологий
Напомним, что в 2023 году «Яндекс» представил новое поколение нейросетей YandexGPT 4. Эти модели могут обрабатывать около 60 страниц текста и поддерживают технологию chain-of-thought, которая улучшает последовательность логических рассуждений. Благодаря этому доля ошибок и «галлюцинаций» в ответах сократилась с 4% до 2,1%.
Метод LoRA становится мощным инструментом для бизнеса, позволяя компаниям значительно сократить затраты на внедрение нейросетевых решений и повысить качество их работы. Внедрение таких технологий открывает новые перспективы для автоматизации процессов и оптимизации бизнес-процессов.