ДОПОВНЕНА

 РЕАЛЬНІСТЬ

НА УРОКАХ ФІЗИКИ

                                                    Капустяни, 2019                                                 

Автор: Кушнір Віталій Анатолійович, вчитель фізики, математики та інформатики Капустянської загальноосвітньої школи І-ІІ ступенів Новоушицької ОТГ.

Рецензент: Облядрук Олександр Іванович, методист методичного кабінету відділу освіти, молоді та спорту Новоушицької ОТГ.

Тестування роботи доповненої реальності на мобільних пристроях виконала Філіпова Ангеліна Володимирівна – учениця 9 класу Капустянської загальноосвітньої школи І-ІІ ступенів Новоушицької ОТГ.

Даний посібник здійснить коротке ознайомлення з технологією доповненої реальності. Розкриє можливості використання даної технології в освіті, зокрема на уроках фізики при виконанні лабораторних робіт. 

Зміст

Зміст................................................................................................. 3

Що таке доповнена реальність, та її використання в ...................

освітньому процесі.......................................................................... 4

Технологія доповненої реальності HP Reveal (Aurasma).............. 8

Використання доповненої реальності на уроках фізики під час виконання лабораторних робіт              10

Додаток........................................................................................... 15

Що таке доповнена реальність, та її використання в

освітньому процесі

Доповнена реальність (Augmented Reality, AR) являє собою звичайну реальність, в якій додана цифрова графіка. На відміну від віртуальної реальності, котра вимагає повного занурення у віртуальне створене середовище, доповнена реальність використовує середовище навколо нас та просто накладає поверх його зображення певну віртуальну інформацію, наприклад графіку, текст, відео, аудіо, 3D-моделі та реакцію на взаємодію з ними. Ця інформація використовується як додатковий корисний інструмент, що забезпечує допомогу в повсякденній реальності.

Термін Augmented Reality (AR), який перекладається як «доповнена реальність», був вперше запропонований в 1990 р дослідником Томом Коделом, який працював на корпорацію Boeing. Про суть поняття «доповнена реальність» говорить сама назва – це технології, які доповнюють реальність віртуальними елементами.

Основний момент при використанні доповненої реальності – це накладення віртуальних (нереальних) об'єктів на реальність, їх комбінування. У цьому істотна відмінність доповненої реальності від віртуальної.

Доповнена      реальність      дозволяє         доповнити      світ віртуальними об'єктами, звуками, образами. Вона може бути інтерактивною, тобто:

-             на        віртуальні       об'єкти            можна             впливати

(наприклад, доторкнутися на екрані планшета до зображення об’єкта і спостерігати як він рухається тощо);

-             з ними можна сфотографуватися (наприклад, в

цікавій масці);

-             з їх допомогою можна переходити на сайти і тому подібне, варіантів інтерактивності доповненої реальності сила-силенна.

Найпростіший варіант елементів доповненої реальності – це зображення, відео, 3D-модель або текст, які з'являються на екрані смартфона при наведенні його камери на якусь мітку. Міткою може служити якесь зображення чи навіть предмет.

Крім того, доповнена реальність дозволяє впливати на об'єкт. Наприклад, можна доторкнутися до моделі двигуна, провернути її навколо своєї осі, розібрати на складові частини і прочитати інформацію про кожну з них. Можна доторкнутися до зображення тварини, і воно оживе: заговорить, потанцює, розповість про себе. Можна відкрити дверцята віртуального автомобіля і подивитися, як він виглядає всередині тощо.

Отже процес формування доповненої реальності відбувається за рахунок обробки зображення з камери телефону, веб-камери чи іншого пристрою процесором, та накладання віртуальних об’єктів на це зображення.

У якості елементів AR-технологій можуть виступати відео та аудіо матеріали, 2D та 3D-моделі, текстовий контент. У системі доповненої реальності використовуються спеціальні маркери або мітки, котрі сприймаються камерою та слугують основою для позиціонування елементів AR. Якщо алгоритм програмного забезпечення розпізнав маркер на зображенні з камери, позиція цього маркеру фіксується і на його місці відображається відповідний елемент доповненої реальності. Існують також системи без використання маркерів, вони працюють  відслідковуючи геометрію та взаємне місцеположення реальних об’єктів. В цьому випадку будується система координат, початок якої знаходиться у певній точці реального навколишнього середовища. Зазвичай при цьому використовуються й інші сенсори, такі як гіроскоп чи акселерометр, для орієнтування у побудованій системі координат.

Враховуючи вищевказані можливості та особливості доповненої реальності, її використання в освіті має великі перспективи та зацікавленість. Освітній процес стає інформаційнішим, вноситься певна новизна.

По перше, це звичайно ж створення навчальної літератури нового покоління, адже для друку на сторінках книги маркерів для AR не треба ніяких особливих витрат. Зате, як пожвавиться, в прямому сенсі цього слова, сторінка книги, якщо, приміром, здобувач освіти побачить на ній тривимірне зображення піраміди Хеопса або першої парової машини Уатта. Для цього навіть не обов'язкові спеціальні пристрої, хоча вони наразі проектуються і створюються перші зразки. Досить планшету або смартфону з відносно широким екраном. При цьому, переміщаючи підручник можна розглянути доповнений віртуальний об'єкт в різних ракурсах і масштабах.

Із розвитком AR, перетвориться так само і набір наочних посібників – адже необхідність громіздких макетів знизиться. Вчителю досить розмістити невелике зображення – маркер перед камерою, і спроектувати на екран вже доповнене комп'ютером зображення, що вигідно відрізняється тим, що його можна вільно модифікувати, обертати, масштабувати. З'явиться можливість, не виходячи за межі класу, розглядати тривимірні зали та виставки світових музеїв, мандрувати в космічному просторі тощо.

Можна            назвати           основні           «плюси»         застосування доповненої реальності в школі:

-                      Позитивні емоції здобувачів освіти. Чим вам завадить захват і здивування?

-                      Інтерактивність, залученість у процес, що значно підвищує рівень зацікавленості.

-                      Ненав'язливість         інформації,     яка       легко запам'ятовується, тому що легко, грайливо і комфортно подана.

-                      Використання гаджетів, що для сучасної людини, яка вже себе без них не уявляє, безсумнівно плюс.

-                      Вірусність. Хтось побачив, як використовується доповнена реальність, розповів іншому, а той ще іншому і понеслась.

-                      Зв'язок цифрового світу і оффлайн.

-                      Вивчення об’єкта в тривимірному форматі, навіть якщо в реальності його побачити практично неможливо.

-                      Вау-ефект.

Технологія доповненої реальності ще досить  «молода», а в галузі освіти робляться тільки перші кроки і  маловідома. Створюючи та реалізовуючи різні проекти необхідно популяризувати AR та окреслювати перспективи її застосування, а також залучати учнів у дослідження, розробляючи для цього навчальні ситуації, використовувати сучасні технології, інструменти та способи діяльності для досягнення якісного результату.

Узагальнюючи сказане можна стверджувати, що доповнена реальність є багатообіцяючим інструментом навчання в загальноосвітній школі майбутнього, що має принципово нові можливості візуалізації, особливо корисним в навчанні в підлітковому віці.

Технологія доповненої реальності HP Reveal (Aurasma)

На даний час існує уже цілий ряд сервісів, веб-студій та десктопних застосунків, що дозволяють створювати і використовувати доповнену реальність. Кожен з них мають свої переваги та недоліки. Найбільш оптимальним рішенням на нашу думку є технологія HP Reveal (колишня Aurasma). Основними критеріями стали простота в використані, широке застосування та безкоштовність (хоча є й платна версія з розширеними можливостями).

Дана технологія Aurasma була розроблена в Кембриджі компанією Autonomy і вперше продемонстрована публіці в 2011 році на MIPTV в Каннах. 5 травня 2011 року була запущена мобільна версія Aurasma для iPhone, в червні того ж року з’явилась версія для Android. Внаслідок ребрендингу, Aurasma з 18 грудня 2017 року є HP Reveal.

Принцип роботи HP Reveal схожий з технологією розпізнавання QR кодів. Застосунок використовує камеру гаджета, GPS, Bluetooth, Wi-Fi, акселерометр та гороскоп для ідентифікації різних об’єктів з навколишнього середовища. В подальшому ці  об’єкти транслюються на екрані пристрою з накладеним поверх відео, картинками, фотографіями чи іншими накладеннями (Overlays) із файлів, так званих аур.

Правда є ряд обмежень:

-                      Ваша аудиторія новина володіти, по-перше достатньо сучасним смартфоном чи планшетом, по-друге, на ньому потрібно заздалегідь встановити конкретний застосунок. Ці вимоги відразу відсікають значну частину користувачів.  Тому потрібно попередньо підготовлювати аудиторію – привчати її до використання сервісу, захоплювати цікавими можливостями.

-                      Відповідно, варто подумати, чи є сенс користуватися саме конкретним додатком доповненої реальності, коли його можна замінити більш звичним і універсальним QR -кодом , через який і буде здійснюватися перехід за посиланням, завантаження додаткових матеріалів або інші звичні операції.

-                      Більш того, набір форматів файлів , які ви можете накласти на об'єкт в HP Reveal, дуже обмежений - це відео, зображення, тривимірна модель і веб-сайт.

-                      Наявність хорошого з’єднання з Інтернет.

Переваги:

-                      Найбільш зручний і доречний сценарій використання додатків на зразок HP Reveal, який частіше за все ви і зможете зустріти на практиці, це розширення можливостей поліграфічної продукції. Тут доповнена реальність конкурує тільки з QR-кодами, так як набирати вручну посилання (тим більше, не дуже коротку) у вікні браузера сьогодні вкрай незручно для користувача.

-                      І та територія, де HP Reveal б'є QR-коди - це відтворення відео або демонстрація тривимірних моделей при наведенні камери на ілюстрацію в друкованому виданні. Це, безумовно, ефектно і має сенс у використанні.

-                      До об’єктів аури можна застосувати ряд запрограмованих дій.

-                      Досить хороший рівень розпізнавання мітоктригерів.

Використання доповненої реальності на уроках фізики під час виконання лабораторних робіт

Враховуючи те, що доповнена реальність поступово входить в життя людини і реалізовується та буде реалізовуватись в різних сферах її діяльності ми вирішили спробувати задіяти AR і в освітній галузі. Для початку був розроблений та створений невеличкий проект по візуалізації процесу виконання лабораторних робіт з фізики. Суть полягає в тому, що перед виконанням роботи, а при потребі і під час виконання, можна переглянути невеличке відео, в якому наведено порядок виконання,  роз’яснення процесів, отримання результатів та їх обробіток. При цьому не потрібно ніякої громіздкої та дороговартісної проекційної апаратури, а лише смартфон/планшет, підручник з фізики та підключення до Інтернет. Крім того перегляд може здійснюватися в індивідуальному порядку, тобто тоді коли учневі щось незрозуміло, інші учні при цьому не відволікаються і не гають часу на спільний перегляд. 

В якості відео для доповненої реальності взято відеододаток до підручника з фізики за редакцією

В.Г.Бар’яхтара, С.О.Довгого. Відповідно маркерами (тригерами) для запуску файлу аури є фрагменти інструкцій до виконання відповідних лабораторних робіт, надрукованих в підручнику даних авторів. Фрагменти містять в собі початок інструкції: заголовок, першу ілюстрацію та текст біля неї.

Приклад тригера для запуску аури

Для перегляду доповненої реальності на екрані пристрою необхідно заздалегідь встановити один раз застосунок  HP Reveal. 

HP Reveal доступний для завантаження з App Store та Google Play, тому його можна встановити на пристроях Apple і Android. 

Загальні вимоги до пристрою.

HP        Reveal             використовує             новітні            технології розпізнавання зображень і потребує планшета або смартфона в якому:

Високопродуктивний процесор,

Задня камера, переважно з автофокусом,

Операційна система iOS або Android,

Версії для Android: Android 4.4+,

Версії, які підтримуються iOS: iOS 9.0+.

 Для того, щоб переглядати AR, створені в безкоштовній версії програми, необхідно спочатку зареєструватись. Це можна зробити як на сайті, так і з мобільного додатка. Для цього відкриваємо на пристрої програму HP Reveal та створюємо власний профіль. 

Після створення профілю та входу в нього для доступу до аур, створених в безкоштовній версії студії, необхідно здійснити підписку на канал, аури якого ви хочете переглядати. Для цього в полі пошуку (Discover Auras) вводимо назву каналу на який хочем підписатись, в нашому випадку – FizykaAR. В переліку знайдених каналів та аур вибираєм та натискаєм на назву каналу FizykaAR’s Public Auras (канал позначений значком ). На сторінці, яка відкриється натискаємо клавішу для підписки та стеження Follow (після цього напис на кнопці зміниться на Following). Підписавшись один раз на канал можна переглядати будь-які публічні аури на ньому, які існують на даний час чи будуть створені згодом. При бажанні можна відписатись від даного каналу натиснувши клавішу Following. 

Потім

внизу екрана для сканування тригера. Націлюємо камеру пристрою на зображення-тригер так, щоб рухомі маркери у вигляді кружечків охоплювали зображення повністю. Після розпізнавання тригера на екрані відтвориться доповнена реальність – поверх зображення з камери накладеться цифровий контент аури.

Елементи взаємодії з об’єктами доповненої реальності  Об’єкти доповненої реальності, яку ми розглядаємо, інтерактивні, тобто користувач може із ними взаємодіяти. Натискаючи на об’єкти цифрового контенту, можна викликати певну запрограмовану дію. Таким чином можна керувати процесом відтворення доповненої реальності.

 Після запуску нашої AR на екрані пристрою відобразиться прямокутна форма, в якій автоматично почне відтворюватись відео. Внизу даної форми розміщена панельтрей. Якщо мітка-тригер буде знаходитись в полі зору камери пристрою, то дані поля будуть «прив’язані» до даного тригера. При відведені камери від тригера, зображення розгорнеться на весь екран і в подальшому для роботи AR наявність міткитригера уже не обов’язкова. 

Розглянемо елементи керування та взаємодії із  AR.

1. Поле відеопрогравача.

-          Один тап (натискання) – відео переходить в режим «Пауза»;

-          Подвійний тап – відео виходить з режиму «Пауза» і продовжує відтворюватись.

2. Панель-трей

                -    Розкриває основну панель органів керування.

3. Основна панель органів керування.

Дана панель містить ряд кнопок для керування процесом AR. 

-          Кнопка «Пуск»  - відео починає/продовжує відтворюватись;

-          Кнопка «Пауза»  - відео переходить в режим призупинення відтворення;

-          Кнопка «Стоп»  - відео зупиняється. При подальшому запуску (кнопка «Пуск») відтворення почнеться спочатку.

-          Кнопка «Переглянути на YouTube» -   перенаправляє користувача для перегляду даного відео на зовнішньому ресурсі YouTube. В цьому може виникнути потреба якщо потрібно здійснювати перегляд з перемотуванням, оскільки в нашому AR дана функція не передбачена. 

-          Кнопка «Згорнути»  - закриває основну панель та відкриває панель-трей.

4. Спливаючі написи.

                             Спливаючі       написи       «Пауза»,     «Відтворює»,

«Зупинено» з’являються на екрані під час переходу відео в відповідний режим. Напис «Відтворює» зникає автоматично через 2 секунди. При натисканні на дані написи відкривається основна панель органів керування.

Додаток

                Усі    зображення     тригерів    є    частинами      сторінок

підручника з фізики під редакцією В.Г.Бар’яхтара, С.О.Довгого.  Зокрема для 9 класу вони мають такий вигляд:

Зображення тригерів також можна завантажити за посиланням:

https://drive.google.com/drive/folders/1RQIS_YZ PM_a1vTLOugvGWTcqTjL4k8t9?usp=sharing

На момент написання даного тексту доповнена реальність була розроблена лише для лабораторних робіт до підручника з фізики для 9 класу під

редакцією В.Г.Бар’яхтара, С.О.Довгого. Але в

планах є створення AR до лабораторних робіт і для інших класів, а також і до інших зображень у

підручниках. Підписуйтесь на канал FizykaAR в HP

Reveal і будете мати можливість переглядати усі AR.