Блог пользователя an2k

Вычислительный кластер CL120

Описание вычислительного кластера CL120

Вычислительный кластер проектировался и создавался параллельно с проектным, строительным и монтажно-наладочным процессами компьютерного класса в аудитории №120 в 2024 году. В январе 2025 года кластер введён в эксплуатацию.

Было начато реальное использование кластерных параллельных вычислений, освоены классическое и нейросетевое машинное обучение, вошли в арсенал современные языки программирования.

Комплекс получил наименование CL120.

Приложения

  • Эта статья в PDF: Вычислительный кластер CL120 (PDF)
    Подробное описание, состав оборудования, программное обеспечение, языки программирования, использование, функции сервера, выводы и годовой баланс времени.
  • Презентация: Презентация кластера CL120 (PDF)
    История создания, архитектура, используемые технологии, примеры использования, статистика и результаты исследований, контакты лаборатории.

Курс «Практикум по машинному обучению» на lms3.mgimo.ru открыт для всех преподавателей и студентов

Уважаемые коллеги!

На сайте https://lms3.mgimo.ru ближе к концу списка курсов есть раздел Data Science. Практикум ML.
В нем две части по сути одного курса:
Практикум по машинному обучению. Часть 2.
Практикум по машинному обучению. Часть 1.

Преподаватели и студенты могут самозамисываться на эти курсы со своими аккаунтами на https://lms3.mgimo.ru 
У кого аккаунта нет - могут получить его у любого инженера лаборатории ЭВТ им.Чеповского.

Практика программирования для начинающих

Инструкция по работе с кластером Apache Spark

В данной инструкции представлен пошаговый алгоритм по взаимодействию с кластером Apache Spark (CL120): от подключения к серверу и настройки виртуального окружения до запуска своего приложения на кластере. Материал поможет быстро начать работу с Spark.

Производительность кластера CL120

Результаты тестирования производительности

  CPU GPU
Одна нода 51.8 GF 6.6 TF
Весь кластер

Для CPU использован пакет HPL (High-Performance Linpack), для GPU — NVIDIA HPC Benchmarks.

Занятие 2

  1. Повторение пройденного на Занятии 1.
  2. Усложнение кода. Поиск ошибок.
  3. Новая сфера использования Python - получение и анализ данных из интернета.

Занятие 1

Знакомство с операционной системой Linux и языком программирования Python.

IF и Store

  1. Скачать архив на свой комп.
  2. Распаковать его командой tar xzf if-stope.tar.gz
    В директорию if-stope распакуются два скрипта.
  3. Запустить и пройти предложенный диалог первого скрипта не менее 3 раз, чтобы понять логику его работы.
    Тоже самое повторить со вторым скриптом.
  4. Изучить код обоих скриптов, найти: что между ними общего и в чем различие. 

Почта для студентов

Код содержит ошибки.

Их можно исправить, найдя визуально до первого запуска (++ в карму)
или после первого запуска, по подсказке интерпретатора Python (+ в карму).
Кто-то не найдет и не исправит (- в карму).

ЗАДАЧА

Визуализация данных

Примеры использования библиотеки matplotlib

  • Скачать и распаковать файл с примерами.
  • Последовательно попробовать выполнить их все.

Страницы

Подписка на RSS - Блог пользователя an2k