Представители американской компании утверждают, что в DeepSeek использовали недобросовестные практики для обучения модели ИИ R1. Прошло совсем немного времени с запуска китайского конкурента ChatGPT, но DeepSeek R1 уже привела к потрясениям на финансовом рынке. Китайская компания смога предложить ИИ-помощника, который сопоставим с конкурентами, но распространяется открыто и бесплатно. Это ударило по позициям ведущих компаний в сфере ИИ и даже привело к тому, что капитализация Nvidia за один день упала на рекордные $500 миллиардов.
Для обучения своей модели DeepSeek якобы использовала 2048 ускорителей Nvidia H800 и потратила скромные $5,66 миллионов (хотя ряд специалистов предполагает наличие более крупного вычислительного парка). Секрет такого недорого обучения может быть в том, что DeepSeek опиралась на ИИ от OpenAI. Речь идет о так называемой «дистилляции». Эта техника для получения высокой производительности на малых моделях за счет использования выходных данных более крупных и более эффективных моделей, что позволяет достигать аналогичных результатов в определенных задачах с меньшими вычислительными затратами. То есть DeepSeek могла использовать американские ИИ для более быстрого обучения своей модели. Microsoft и OpenAI провели расследование и заблокировали некоторые аккаунты, которые могли использовать интерфейсы API для такой дистилляции, поскольку это нарушает условия использования.
Дистилляция является распространённой практикой для стартапов и ученых в США и Китае — использование коммерческой LLM для обучения своей специализированной модели. Но в случае с DeepSeek и OpenAI речь идет о крупных коммерческих интересах, поэтому американская компания намерена принять серьезные контрмеры для защиты своей интеллектуальной собственности. Также компания сотрудничает с правительством США для защиты американских технологий.
Отметим также, что если на этапе обучения DeepSeek использовала ускорители Nvidia, то теперь стало известно, что поддержка работы и инференс ИИ осуществляется на базе китаских ускорителей Huawei Ascend 910C.
Источник:
Financial Times