Паралельні обчислення

Задача розбивається на дискретну послідовність операторів

Кожна підзадача в свою чергу розбивається на послідовність інструкцій

Код програми виконується на єдиному процесорі (single processor)

За весь час роботи виконуватися тільки одна інструкція

Задача розбивається на підзадачі 

Задача розбивається на дискретну послідовність операторів

Кожна підзадача в свою чергу розбивається на послідовність інструкцій 

Інструкції кожної підзадачі виконуються лише на одному процесорі

апаратні засоби для проведення обчислень 

обчислювальна техніка, зібрана з стандартних комплектуючих 

засоби візуалізації; o засоби для зберігання і обробки даних

арифметико-логічні пристрої; пристрої введення- виведення

операційні систем; 

стандартні бібліотеки 

дреди

драйвери

розбиття на незалежні підзадачі, які можна виконувати одночасно (допускати паралелізм) 

розбиття на незалежні функціональні модулі

графічних процесорів (GPU)

з автономних комп’ютерів

Multiple execution units/cores.

prefetch, decode, floating-point, GPU, Multiple execution units/cores, Multiple hardware threads, L1-кеш, L2-кеш

Multiple hardware threads, Multiple execution units/cores,GPU

L1-кеш, L2-кеш, prefetch, decode, floating-point, GPU  

послідовна

паралельна

послідовно-паралельна

конвеєрна

набір елементів обробки даних, з'єднаних послідовно, де вихід одного елемента є входом наступного

набір елементів обробки даних, з'єднаних паралельно, де вихід одного елемента є входом наступного

елементи конвеєра, які виконуються паралельно за принципом time-sliced

набір елементів обробки даних, з'єднаних послідовно-паралельно

все більше наближається до його пікової продуктивності 

зростає за експоненціальним законом

залишається не змінною 

все більше зменшується

монопольне виконує лиш одну задану операцію 

використовує своє обладнання для виконання кожної окремої операції

може виконувати одну або декілька обчислювальних операцій 

ніяка наступна операція не може виконуватися до виконання попередньої 

виконує одну або декілька обчислювальних операцій одночасно 

розподіляє своє обладнання для виконання кількох операцій 

конструюється як набір простих пристроїв паралельно з’єднаних

конструюється як набір пристроїв послідовно-паралельно з’єднаних

час її реалізації

вимірюється у відносних одиницях до всієї затраченої роботи

сумарна вартість усіх кроків, що виконуються при її виконанні 

середній час виконання всіх операцій

сумарну вартість усіх операцій вводу-виводу

відношення сумарної кількості затрачених операцій до основних

вартість усіх операцій помножених на коефіцієнт ефективності 

сумарну вартість усіх виконаних операцій

максимальний час роботи пристрою 

мінімальний час роботи пристрою 

відношення вартості реально виконаної роботи до максимально можливої 

середній час роботи пристрою

кількість операцій у середньому за одиницю часу

мінімальна кількість операцій за одиницю часу

максимальна кількість операцій за одиницю часу

логарифм середнього значення кількості операцій за одиницю часу

суми добутків пікових продуктивностей на відповідну завантаженість

сумою пікових продуктивностей та сумою відповідних завантаженостей

добутком пікових продуктивностей і їх завантаженостей

відношенням добутків пікових продуктивностей на завантаженість

r max = s * min р_i

r max = s * max р_i

r max= s * max Р_i

r max= s * min р_i* max Р_i

найбільш продуктивним пристроєм

середнім значенням продуктивності усіх пристроїв;

відношенням найменш продуктивного до найбільш продуктивного 

найменш продуктивним пристроєм

SISD

MISD

LISD

SIMD 

SISD 

MISD 

LISD

SIMD

SISD 

MISD 

LISD

SIMD

виконують операції тільки над одним двійковим розрядом

виконують ряд послідовних операції 

мають однорозрядні процесори, які працюють незалежно 

мають паралельні обчислювальні системи 

у момент часу обробляють тільки один двійковий розряд

є класичними послідовними комп’ютерами

є однорозрядними багатопроцесорними

є паралельними обчислювальними системами

у момент часу обробляють тільки один двійковий розряд

є класичними послідовними комп’ютерами 

є однорозрядними багатопроцесорними

є паралельними обчислювальними системами

у момент часу обробляють тільки один двійковий розряд

є класичними послідовними комп’ютерами

є однорозрядними багатопроцесорними

є паралельними обчислювальними системами

потік виконується

потік готується до виконання 

потік в стані очікування 

потік перерваний і не може бути відновлений

вводу-виводу

прямого доступу до пам’яті

передачі даних 

передачі даних для організації мережі 

buf, count, type – буфер пам’яті для прийому повідомлень

source - ранг процеса для виконання прийому повідомлення

tag -тег  даних з інформацією про результати виконання операцій

comm - комунікатор, в рамках якого виконується передача даних

buf, count, type – буфер пам’яті з повідомленням, що відправляється

root – ранг процеса, який виконую розсилку даних

comm – комунікатор, в рамках якого відбувається передача даних

tag -тег даних з інформацією про результати виконання опера

buf, count, type – буфер пам’яті з повідомленням, що відправляється

comm – комунікатор, в рамках якого відбувається передача даних

root– ранг процеса, який отримає результат розсилки.

ор – операція , яка повинна бути виконана над даними

групу процесів і ряд додаткових параметрів 

ряд додаткових параметрів для операцій передачі даних

ряд додаткових параметрів для операцій введення-вивидення

групу процесів, які звертаються до пам'яті 

розпаралелювання процесу обчислень;

створення паралельних та розподілених обчислювальних машин

розробка паралельних та розподілених програмних засобів обчислень

ефективне виконання обчислень в паралельних та розподілених обчислювальних машинах.

концепція необмеженості обчислювальних ресурсів

основна концепція необмеженості паралельних обчислень

концепція необмеженості процесу розпаралелювання обчислень

концеція необмежених у часі паралельних процесів

метод, модель, алгоритм, програма вирішення задачі

паралельні обчислювальні машини

паралельні та розподілені інформаційні центри

паралельні та розподілені математичні функції

алгебраїчні перетворення, декомпозиція, агрегування, макроалгоритми 

методи Дейкстрі, Ньютона, Гаусса, Робінсона

методи булєвої алгебри

методи семафорів нелінійної алгебри

подання алгоритму вирішення задачі у вигляді незалежних груп операцій

графічна форма подання засобів розпаралелювання

графік виконання паралельних обчислень

паралельні та розподілені математичні форми алгоритмів

ярус, висота, ширина, число кроків

висота, довжина, товщина, число рівнів

ефективність, паралельність, розподіленість, інформаційність

висота, довжина, число рівнів та функцій

прискорення, ефективність, висота, завантаження 

висота, ширина, довжина, число кроків та ін

прискорення, висота, довжина, число рівнів та ін

надійність, паралельність, розподіленість, інформаційність

модель паралельного алгоритму у вигляді орієнтованого графа

графік паралельного процесу вирішення задачі

графічне представлення алгоритму

граф алгоритму паралельних функціональних пристроїв

матриця зв’язків між вершинами та ребрами графа алгоритму

матриця роботи паралельної обчислювальної машини

матриця інцидентів обчислювального процесу

матрична плата інцидентних функціональних пристроїв

матриця роботи суміжних паралельних обчислювальних машин

матриця декількох суміжних обчислювальних процесів

матрична плата суміжних функціональних пристроїв

матриця зв’язків між вершинами графа паралельного алгоритму 

паралельно-перехрестна 

лінійна 

нелінійна

конвеєрна

графічний і математичний засіб моделювання систем і процесів 

паралельна система мережі Internet

паралельно-розподілена інформаційна мережа

комунікаційна мережа паралельної обчислювальної системи

декілька маркерів у вершинах, дуги-заперечення

 розподілена інформаційна мережа

розподілені модулі мережі Internet

декілька маркерів у вершинах, дуги-заперечення

складна комунікаційна мережа обчислювальної системи

моделювання та синхронізація обчислювальних процесів

створення сучасних інформаційних мереж

паралельно-розподілені обчислення в мережі Internet

комунікаційні мережі обчислювальних машин та систем

SISD, MISD, SIMD, MIMD

лінійні, паралельно-послідовні, синхронні, асинхронні

багатопроцесорні, матричні, конвеєрні, із змінною топологією 

статичні, динамічні, послідовно-перехресні, конвеєрні

багатопроцесорні, матричні, конвеєрні, із змінною топологією та ін

SISD, MISD, SIMD, MIMD

однопроцесорні, багатопроцесорні, синхронні, асинхронні

статичні, динамічні, кільцеві, тороїдальні та ін.

процесори, операційна система, блоки пам’яті, комунікаційна мережа 

процесор, синхронізатор, блок аналізу, пристрій вводу-виводу

блоки пам’яті, синхронізації, зв’язку та передачі даних

операційна система, блок аналізу, блок зв’язку, таймер та ін.

продуктивність, швидкодія, число процесорів, організація роботи та ін.

ефективність, розмір, вага, ціна та ін.

число синхронізаторів, блоків пам’яті, каналів зв’язку та передачі даних

ефективність, синхронність, інформаційність, інтелектуальність та ін.

матричні, конвейєрні, зі змінною топологією та ін.

лінійні, нелінійні, кільцеві, тороїдальні та ін

статичні, динамічні, послідовно-перехресні та ін.

паралельні, розподілені, інформаційні, інтелектуальні

послідовні, адресні, асоціативні та ін.

лінійні, нелінійні, кільцеві, тороїдальні та ін.

встатичні, динамічні, послідовно-перехресні та ін.

паралельно-розподілені, інформаційні, інтелектуальні та ін.

лінійний, кільцевий, тороїдальний, перехресний та ін.

пакетний, мультипрограмний, конвеєрний, режим реального часу та ін.

статичний, динамічний, послідовний, паралельно-розподілений та ін.

підготовчий, робочий, аварійний та форс-мажорний

паралельні, розподілені, централізовані, децентралізовані та ін.

паралельно-розподілені, інформаційні, кібернетичні та ін.

лінійні, нелінійні, кільцеві, тороїдальні та ін.

паралельні, комунікаційні, мережеві, обчислювальні та ін.

однорідна система ресурсів і завдань

лінійна система обчислювальних засобів

система з паралельною комунікаційною мережею

система паралельних зв’язків між завданнями