Компания xAI под руководством Илона Маска открыла исходный код языковой модели Grok-1. Это событие было анонсировано 11 марта, а теперь код доступен на площадке GitHub. Опубликована базовая модель и сетевая архитектура Grok-1. Модель обучена по методу Mixture-of-Experts на большом объеме текстовых данных с 314 миллиардами параметров. Это «контрольная точка» необработанной модели по итогам обучения, которое завершено в октябре 2023 года. Модель не настроена для какого-то конкретного приложения, например, для диалогов.
Ранее чат-бот на основе модели Grok был запущен для подписчиков X Premium Plus, но не имел большого успеха. Недавно Илон Маск подал в суд на OpenAI с претензиями по поводу закрытого кода ИИ GPT-4, что противоречит уставным документам компании. По утверждению Маска компания OpenAI стала работать исключительно в коммерческих интересах Microsoft. Также Маск критиковал и другие компании, которые ведут закрытые разработки в сфере ИИ. Возможно, открытие кода Grok является неким публичным шагом, который подчеркивает позицию Маска. Также это попытка привлечь внимание к разработке xAI для возможной популяризации и развития модели Grok.
Источник:
The Verge
