Совместное исследование DeepSeek и Пекинского университета привлекло внимание запуском технологии Engram, направленной на существенное снижение зависимости систем искусственного интеллекта от памяти. Новый метод позволяет устранить серьезный дефицит ресурсов, существующий в отрасли, минимизируя потребность в высокопроизводительной памяти, одном из самых дорогостоящих ресурсов при обучении больших языковых моделей.
Редакция сообщает, что технология Engram отделяет хранение памяти от вычислительных процессов, защищая память GPU моделей от ненужной информационной нагрузки и применяя механизм поиска и извлечения только необходимой информации. Специалисты давно отмечали, что резкое увеличение потребности в HBM привело к пятикратному росту цен на DRAM всего за 10 недель.
Новый метод предлагает несколько технических преимуществ. Engram освобождает доступ к статическим данным от зависимости от вычислений, генерируемых в реальном времени, и поэтому вычислительная мощность модели может быть направлена на более сложные логические процессы, а не на простые операции. Тесты, проведенные на модели с 27 миллиардами параметров, показали, что этот подход обеспечивает заметное повышение производительности в соответствии с отраслевыми стандартами.
Исследователи заявляют, что выделение примерно 20–25 процентов общего бюджета параметров модулю Engram дает более высокие результаты по сравнению с традиционными моделями. Эта технология позволяет увеличить общий объем памяти, работая параллельно с более доступными SSD-решениями, такими как Phison, и новыми стандартами CXL, что обеспечивает быструю и стабильную работу систем без загрузки дорогостоящих ресурсов HBM.
По мнению специалистов, технология Engram может оказать серьезную поддержку развитию искусственного интеллекта, особенно в регионах, где поставки HBM затруднены и дороги. Этот подход также может способствовать предотвращению резких колебаний цен на рынке DRAM и сделать обучение крупномасштабных моделей экономически более доступным.