Вычислительный кластер CL120

Опубликовано 4 июня, 2025 - 07:55 пользователем an2k

Описание вычислительного кластера CL120

Вычислительный кластер проектировался и создавался параллельно с проектным, строительным и монтажно-наладочным процессами компьютерного класса в аудитории №120 в 2024 году. В январе 2025 года кластер введён в эксплуатацию.

Было начато реальное использование кластерных параллельных вычислений, освоены классическое и нейросетевое машинное обучение, вошли в арсенал современные языки программирования.

Комплекс получил наименование CL120.

Аппаратная конфигурация

Компонент Кол-во Характеристики
Вычислительные узлы (ПК) 35 шт. 20 ядер, 32 ГиБ RAM, RTX 3050
Коммутаторы 2 шт. 24 порта, 1 GbE
Центральный сервер 1 шт. 16 ядер, 128 ГиБ RAM

Программное обеспечение

Категория Версия Назначение
Операционная система Debian GNU/Linux 12 Базовая система на всех узлах
Фреймворк Apache Spark 3.5.5 Параллельная обработка данных, ML
Плагин GPU Spark RAPIDS 25.04.0 Ускорение Spark на GPU (NVIDIA)
СУБД PostgreSQL 17.5 Хранение и аналитика данных
JDBC-драйвер PostgreSQL JDBC 42.7.7 Соединение Java/Spark ↔ PostgreSQL

Языки программирования

  • Python 3.11
  • Scala 2.13
  • Java 17
  • PL/pgSQL

Использование кластера

Все оборудование класса используется в учебное время, согласно расписанию, как обычный учебный компьютерный класс, кроме тех случаев, когда занятие предполагает использование параллельных вычислений.

Во внеурочное время персональные компьютеры перезагружаются в операционную систему GNU/Linux, после чего кластер готов к работе. Впрочем, и в этом случае компьютеры класса могут использоваться как обычные ПК — все кластерные вычисления используют ресурсы ПК в фоновом режиме.

Другими словами: под Linux класс может быть использован в учебных целях как с использованием вычислительного кластера студентами, так и с использованием традиционных, однопользовательских программных средств.

Функции сервера

  • Распараллеливание выполняемой задачи
  • Хранение данных
  • Распределение вычислительной нагрузки и данных между узлами
  • Объединение результатов, полученных от узлов
  • Самостоятельная работа над задачей в период, когда узлы (ПК) заняты или выключены

Вывод

Университет впервые получил вычислительный кластер, способный в режиме параллельных вычислений решать статистические и иные задачи на больших данных, с использованием как классического машинного обучения, так и глубокого обучения на нейросетях.

Годовой баланс времени

  • Учебное время: 8 месяцев × 20 дней × 8 часов = 1280 часов в год
  • Полный годовой баланс: 365 × 24 = 8760 часов в год
  • Ресурс вычислителя: 8760 – 1280 = 7480 часов в год (или около 85% годового баланса, если считать только вне учебное время)

Примечание:
Это теоретические выкладки. Машину нужно обслуживать, готовить к каждому большому проекту. Небольшие и учебные проекты могут выполняться параллельно, сразу группами, в учебное и вне учебное время. Реальный ресурс CL120 можно будет оценить не менее чем через несколько месяцев или лет эксплуатации.

Примеры использования

В презентации есть несколько примеров использования вычислительного кластера CL120.

Приглашаем

Приглашаем всех, кому нужны исследования больших данных, воспользоваться услугами Лаборатории ЭВТ им. Чепоского.

  • Декомпозировать вашу задачу
  • Собрать и предобработать данные
  • Создать и обучить вашу модель
  • Внедрить её в приложение

Контакты

  • Кабинеты: 4016, 4011
  • Телефоны внутренние: 16-79, 15-07
  • Телефон мобильный: +7 926 932-3001
  • E-mail: lab-meit@inno.mgimo.ru

Приложения

  • Эта статья в PDF: Вычислительный кластер CL120 (PDF)
    Подробное описание, состав оборудования, программное обеспечение, языки программирования, использование, функции сервера, выводы и годовой баланс времени.
  • Презентация: Презентация кластера CL120 (PDF)
    История создания, архитектура, используемые технологии, примеры использования, статистика и результаты исследований, контакты лаборатории.
Tags:
Категория: