В начале сентября 2024 года компания Red Hat выпустила первую версию дистрибутива Red Hat Enterprise Linux AI (RHEL AI) для выполнения задач машинного обучения и создания серверных решений, использующих большие языковые модели.
По информации OpenNET, в состав дистрибутива RHEL AI включена подборка инструментов и фреймворков для машинного обучения, а также драйверы для использования различных аппаратных ускорителей от AMD, Intel и Nvidia. Сборка имеет необходимые компоненты для задействования возможностей серверов Dell, Cisco, HPE, Lenovo и SuperMicro, оптимизированных для ИИ-систем. Дистрибутив RHEL AI распространяется через Red Hat Customer Portal в вариантах для прямой установки на серверы и для развёртывания в облачных системах AWS и IBM Cloud.
Разработчики проекта пояснили, что платформа RHEL AI может применяться для создания корпоративных ИИ-приложений, внедрения сервисов генерации контента, создания диалоговых систем и интеграции в приложения виртуальных ассистентов, поддерживающих такие навыки, как возможность отвечать на вопросы на естественном языке, решать математические задачи, генерировать осмысленный текст на заданную тему, составлять краткое изложение содержимого, исправлять ошибки в тексте, выполнять рерайтинг, помогать в написании кода на различных языках программирования, формировать электронны письма и рабочие документы по шаблонам.
В RHEL AI интегрированы компоненты для создания, тестирования и выполнения систем машинного обучения на базе большой языковой модели Granite, открытой компанией IBM под лицензией Apache 2.0, способной учитывать при генерации текста до 4 тысячи токенов и охватывающей 7 миллиардов параметров. Для взаимодействия с моделью Granite в дистрибутив интегрирован открытый инструментарий InstructLab, поддерживающий методологию LAB (Large-scale Alignment for chatBots) для подгонки под свои нужды и оптимизации моделей, а также для добавления дополнительных знаний и реализации новых навыков в предварительно натренированных моделях.
Источник: habr.com