reysand - 3 июля, 2025 - 13:48
В начале файла инициализируйте Spark-сессию:
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("Pi").getOrCreate()
В конце программы обязательно завершайте сессию:
spark.stop()
Пример программы на Python (./pi.py):
reysand - 3 июля, 2025 - 13:36
В начале инициализируйте Spark-сессию:
import org.apache.spark.sql.SparkSession
val spark = SparkSession.builder.appName("SparkPi").getOrCreate()
В конце программы обязательно завершайте сессию:
spark.stop()
Пример программы на Scala (./src/main/scala/SparkPi.scala):
reysand - 3 июля, 2025 - 13:12
В начале файла инициализируйте Spark-сессию:
library(SparkR)
sparkR.session(appName = "SparkR-example")
В конце программы обязательно завершайте сессию:
sparkR.session.stop()
Пример программы на R (./example.R):
reysand - 3 июля, 2025 - 12:55
1. Подключение к JupyterLab
Для входа в JupyterLab, у вас должен быть аккаунт в digitlab.mgimo.ru.
2. Создание папки проекта
Создайте папку pi через интерфейс JupyterLab.
Здесь pi — имя папки для проекта «Вычисление числа Пи».
3. Написание кода
Создайте Python файл pi.py.
В начале файла инициализируйте Spark-сессию:
reysand - 3 июля, 2025 - 12:42
1. Подключение к серверу
ssh user@192.168.121.170
2. Создание папки проекта
mkdir pi
cd pi
Здесь pi — имя папки для проекта «Вычисление числа Пи».
3. Написание кода
nano pi.py
В начале файла инициализируйте Spark-сессию:
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("Pi").getOrCreate()
В конце программы обязательно завершайте сессию:
Опубликовано 6 июня, 2025 - 09:12 пользователем an2k
В данной инструкции представлен пошаговый алгоритм по взаимодействию с кластером Apache Spark (CL120). Материал поможет быстро начать работу с Spark.
Установка и проверка работоспособности программы Jupiter
1. Linux войти через root
2. Открыть mc в терминале
3 . Подключиться к серверу 192.168.111.1 Ctl + /
4. Скопировать с сервера remont.tar.gz на локальный диск
5. Распаковать скопированный файл командой tar xzf remont.tar.gz
6. Найти в распакованной папке remont файл remont.sh и запустить его
7. Сменить юзера на student
8. Открыть терминал и выполнить команду ju
9. Проверить работу Jupiter
10. Выбрать lesson1
11. Выбрать файл 1py или 2py
Инструкция студента.
Для удаленного доступа на компьютеры в аудиториях Лаборатории:
1) получите у своего преподавателя данные для входа вида Логин / пароль / ПИН;
2) откройте браузер Google Chrome (обязательно);
*Выйдите из всех аккаунтов Google / Gmail до выполнения последующих операций, либо воспользуйтесь режимом "Инкогнито".
Служебная записка на проведение занятий в компьютерных классах лаборатории ЭВТ им.Чеповского
Для внесения занятия в расписание кафедры МЭИТ необходимо подать служебную записку в ауд. 4014, предварительно согласовав ее с диспетчером учебного отдела.
На период пандемии допустимо оформлять заявку онлайн, используя контакты лаборатории.
Страницы
