DeepSeek представила технологию ускорения ИИ на 85%

Китайская компания DeepSeek анонсировала новый фреймворк под названием DSpark, который способен увеличить скорость отклика моделей искусственного интеллекта до 85% без необходимости опираться на самые современные AI-чипы. Это решение потенциально снижает затраты на эксплуатацию крупных моделей.

Данная инициатива появилась на фоне растущих сложностей в обеспечении вычислительных мощностей для работы моделей ИИ, особенно учитывая американские ограничения, ограничивающие доступ китайских компаний к передовым чипам от производителей, таких как Nvidia.

Компания пояснила, что DSpark использует метод, известный как предсказательное декодирование. В его основе лежит небольшая и быстрая модель, которая сначала предлагает ответ, после чего основная модель проверяет и корректирует его целиком, а не генерирует каждую часть ответа с нуля.

Такая технология позволяет пропускать множество этапов при правильных предположениях, что значительно сокращает время отклика. Все вычисления выполняются на графическом процессоре без передачи задач центральному процессору.

Кроме того, система генерирует небольшие фрагменты текста пакетно, а не по отдельным единицам, что дополнительно ускоряет процесс.

Исследования DSpark были опубликованы в формате open source совместно с Пекинским университетом на платформах GitHub и Hugging Face. Компания подчеркнула, что данная технология не увеличивает возможности самой модели, а лишь повышает эффективность её работы и снижает потребность в дополнительных инвестициях в инфраструктуру.

DeepSeek провела тестирование нового фреймворка на нескольких open source моделях, включая Gemma от Google DeepMind и Qwen от Alibaba, что демонстрирует возможность широкого применения технологии.

Объявление DeepSeek совпало с ростом мировых расходов на дата-центры для искусственного интеллекта, в то время как такие компании, как Uber и Walmart, начали ограничивать использование ИИ сотрудниками из-за высокой стоимости потребления процессорных ресурсов.

В апреле DeepSeek выпустила открытый предварительный релиз V4 Preview, ориентированный на работу с контекстами до миллиона токенов и позиционируемый как экономичный вариант. Для задач с высокими требованиями по производительности был представлен V4-Pro, а для более быстрых и менее затратных ответов — V4-Flash.

DeepSeek не единственная компания, работающая над ускорением отклика ИИ-моделей. Недавно Xiaomi сообщила, что её модель MiMo-V2.5-Pro-UltraSpeed способна генерировать более 1000 токенов в секунду, что является одним из лучших показателей в отрасли.