27 Мая 2024 09:00 27 Мая 2024 09:00 |

Поделиться

Андрей Никитин, T1 Облако: Наличие новейших видеокарт NVIDIA H100 — одно из ключевых преимуществ использования GPU в нашем облаке

О GPU и преимуществах GPU Cloud

Market.CNews: Андрей, добрый день! Расскажите, пожалуйста, какие ключевые задачи решают графические ускорители с GPU?

Андрей Никитин: По мере того как бизнес все больше стремится принимать решения, опираясь на данные, возрастают запросы на высокопроизводительную инфраструктуру для быстрых вычислений на основе традиционных CPU с большой частотой процессора и с помощью GPU. При этом графические ускорители лучше подходят для параллельных вычислений, что позволяет значительно повысить скорость обучения моделей ИИ. Яркий тому пример — популярная нейронная сеть GPT, построенная на обучении больших языковых моделей (LLM). Благодаря использованию графических ускорителей чат-бот GPT в режиме реального времени отвечает на самые разные вопросы пользователей, генерирует тексты на различных языках, быстро их переводит и многое другое.

Market.CNews: В чем основные преимущества использования GPU из облака?

Андрей Никитин: Ключевые преимущества использования GPU в облаке — это скорость и удобство. Клиенту не надо приобретать видеокарты: если есть задача или гипотеза, то можно арендовать GPU для ее проверки, не нужно ждать, пока пройдут закупочные процедуры, доставка и монтаж, а также инвестировать в дорогостоящее оборудование и его поддержку. После выполнения всех вычислений от GPU можно отказаться, оплатив только период фактического использования карты. Это делает применение графических ускорителей доступным для бизнеса любого масштаба.

И еще одним плюсом облачных платформ, который я бы отметил, является гибкость. Так как в облаках уже есть привычные процессоры CPU, а также другие инфраструктурные и платформенные сервисы, то стоящие перед бизнесом задачи можно решать комплексно. В зависимости от требований проекта клиент может легко увеличить количество необходимых вычислительных ресурсов или сервисов.

NVIDIA H100 vs NVIDIA A100

Market.CNews: Какие облачные услуги на базе GPU предоставляет T1 Облако и есть ли у вас планы по развитию ваших сервисов?

Андрей Никитин: На текущий момент нашим клиентам доступны виртуальные машины с графическими ускорителями на базе NVIDIA H100 и NVIDIA A100 — видеокарт с тензорными ядрами, обеспечивающими практически самую большую производительность для ИИ и сложных вычислений (HPC) с момента появления GPU. Поэтому использование GPU в T1 Облако помогает вывести на более быстрый уровень работу с нейросетями, сложной аналитикой, тестированием гипотез, обучением и инференсом моделей. Это позволяет ускорять внедрение инноваций и открывает больше возможностей при работе с ИИ для бизнеса.

Мы предлагаем широкий ряд конфигураций, и в зависимости от текущих запросов наши клиенты могут самостоятельно выбирать оптимальные для себя параметры: количество виртуальных процессоров (vCPU), графических ускорителей (GPU) — от 1 до 8 видеокарт, а также объем оперативной памяти (RAM). При этом учитывая, что производительность видеокарт мощная, а такая мощь требуется далеко не под каждую задачу, можно воспользоваться слайсингом, когда мы передаем клиенту только часть карты.

Отмечу, что наличие инновационных ускорителей GPU NVIDIA H100 является одним из ключевых преимуществ облачных сервисов T1 Облако, поскольку на российском рынке такие предложения пока весьма ограничены. В сравнении с видеокартами NVIDIA A100, они позволяют в 9 раз ускорить обучение и до 30 раз инференс моделей ИИ.

Другая наша сильная сторона — высокая надежность и защищенность данных клиентов. Для обеспечения безопасности T1 Облако применяется максимально выверенный и широкий подход к защите: на программном уровне в отношении наших сервисов реализован целых комплекс специализированных инструментов ИБ, а сама облачная инфраструктура размещена в надежных дата-центрах TIER III, аттестована по требованиям международных стандартов безопасности и российских регулирующих органов в соответствии с №152-ФЗ, №187-ФЗ и ГОСТ Р 57580.1 наивысшим уровням защиты.

При этом, когда мы говорим о современных средствах для ускорения работы с данными и сложными вычислениями наряду с GPU, стоит отметить и преимущества другого инструмента — Jupyter Notebook. Мы видим перспективу развития в этом направлении и в скором времени планируем запустить Jupyter Notebook на базе облачного сервиса T1 Облако.

Market.CNews: А чем видеокарты NVIDIA H100 отличаются от уже доступных на рынке NVIDIA А100?

Андрей Никитин: GPU NVIDIA H100 — графические ускорители с тензорными ядрами четвертого поколения, построенные на базе новой архитектуры Hopper. Обе карты, NVIDIA H100 и A100, имеют 80 Гбайт памяти HBM3 с пропускной способностью 2 Тбайта/с. Но с точки зрения производительности видеокарты H100 в три раза превосходят предшествующие A100 в вычислениях с плавающей запятой (флопс) для форматов FP64, FP16, TF32. Например, в случае с вычислениями с двойной точностью FP64 они дают 60 терафлопс. В NVIDIA H100 также встроен специальный модуль Transformer Engine для работы языковых моделей с триллионом параметров, и появилась поддержка нового формата F8. В сравнении с форматом FP16, F8 позволяет достичь в 6 раз более высокой производительности при обучении моделей.

На практике это означает ускорение абсолютно всех операций. Думаю, многие из нас как пользователи финансовых или телеком-услуг замечали, что сначала один банк или мобильный оператор выходит на рынок с новым сервисом, а потом его подхватывают и все остальные игроки. Очевидно, что все сливки снимает тот, кто был первым. Но чтобы стать первым, нужно быстрее конкурентов провести расчеты и сформировать предложение. Именно для этого и нужны видеокарты NVIDIA Н100. При этом выбор правильного GPU для компании зависит от конкретной отрасли, тех задач, которые она хочет решить с помощью ускорителей, определения основной рабочей нагрузки и требований к производительности.

Market.CNews: А в чем особенности тензорных ядер и какие еще их типы существуют?

Андрей Никитин: Бывают два типа графических ядер под разные задачи: Tenzor и CUDA (Compute Unified Device Architecture, архитектура для компьютерных вычислений). Тензорные позволяют выполнять динамические вычисления и вычисления смешанной точности с ее сохранением. Вторые можно сравнить с обычными ядрами в CPU, единственное, они менее мощные, но их сила заключается в количестве. В продвинутых GPU таких ядер тысячи, и они могут выполнять вычисления с разными наборами данных.

Jupyter Notebook

Market.CNews: Андрей, ранее вы упомянули, что Jupyter Notebook — одно из направлений, которое T1 Облако планирует развивать. Расскажите подробнее о возможностях данной технологии?

Андрей Никитин: Jupyter Notebook — это мощный инструмент для интерактивной разработки, анализа данных и обучения ML-моделей (machine learning, машинное обучение). Его главное преимущество в том, что он предоставляет удобную среду для написания и запуска кода в виде отдельных ячеек, это позволяет итеративно проводить эксперименты, отлаживать код и визуализировать результаты на ходу.

В то время как Jupyter Notebook обеспечивает отличную среду для разработки и анализа данных на CPU, GPU укорители предоставляют дополнительные возможности для ускорения вычислений, особенно в процессах, связанных с глубоким обучением и другими вычислительно интенсивными задачами.

Клиентам следует использовать Jupyter Notebook, когда им нужно провести исследования данных, визуализировать результаты, обучить модели и тестировать гипотезы. Сервисы на базе GPU-укорителей, как я уже сказал, лучше всего подходят для выполнения вычислительно интенсивных задач, таких как обучение глубоких нейронных сетей на больших наборах данных, обработка изображений и видео, а также других задач, требующих высокой производительности.

Сценарии применения и перспективы развития GPU Cloud

Market.CNews: Хорошо, тогда давайте вернемся к графическим ускорителям: клиенты из каких отраслей используют GPU Cloud и для каких сценариев?

Андрей Никитин: Традиционно лидерами в этой области являются клиенты из ретейл, телеком и финансовой сферы. Главный драйвер здесь — высокая конкуренция, поскольку устойчивость таких компаний сегодня напрямую зависит от скорости внедрения инноваций. GPU позволяет им быстрее анализировать огромный массив данных, чтобы улучшать персонализацию обслуживания клиентов, ускорять запуск новых продуктов и услуг, качественнее принимать решения на основании прогнозной аналитики. Например, более точно оценивать спрос на различные категории товаров и прогнозировать продажи в ритейле, а банкам ускорять расчет кредитной ставки и скоринга, обеспечивать безопасность транзакций и своевременно принимать антифрод меры.

И можно с уверенностью предположить, что в ближайшее время клиенты из названных мною отраслей будут и дальше выступать одними из ключевых потребителей облачных сервисов с GPU, активно влияя на развитие этого сегмента. При этом роль GPU достаточна значима и в промышленности. Там параллельные вычисления помогают при создании цифровых двойников, в процессах мониторинга работы оборудования, прогнозирования его сбоев, ремонта и обслуживания, для оптимизации цепочек поставок и др. Также графические ускорители можно использовать для разработки беспилотных автомобилей, систем медицинской диагностики и других приложений на базе искусственного интеллекта. И этот список, безусловно, можно продолжать.

Market.CNews: И в заключение, поделитесь, пожалуйста, какие глобально вы видите тренды в облачном сегменте GPU и как будет развиваться этот рынок в 2024 году?

Андрей Никитин: GPU Cloud — весьма динамичный сегмент. Как я уже говорил, с развитием ИИ и машинного обучения спрос на высокопроизводительные мощности постоянно растет, поэтому количество пользователей, применяющих GPU на базе облачных вычислений, тоже должно увеличиваться. Это подтверждают и исследования мировых аналитических агентств, которые предполагают рост рынка GPU до 2030 примерно на 30-35% ежегодно.

Если говорить про глобальные тренды, то мы можем наблюдать, как стремительно растет спрос на GPU ускорители, особенно на самые мощные NVIDIA H100, со стороны западных ИТ-гигантов: крупнейшего разработчика проприетарного ПО и корпорации, объединяющей ведущие платформы социальных сетей. В гонке за технологическое лидерство они на сегодняшний день являются крупнейшими потребителями GPU в мире.

Поделиться

Короткая ссылка