Семінар "Нейромережі у розробці програмного забезпечення"

Семінар. Нейромережі у розробці програмного забезпечення

Мета: Ознайомитись з особливостями використання нейромереж у програмуванні.

Теоретичні відомості

Коротко текстові нейромережі поділяються на пропрієтарні та опенсорсні.

Пропрієтарні надаються відповідними компаніями API (тобто запустити їх у себе не можна). Найвідоміші з них це:

•               OpenAI: ChatGPT, GPT-4, GPT-4-Turbo
•               Claude: 1, 2, 3 Haiku, Sonnet, Opus
•               Google: Palm, Gemini Pro
•               ну і деякі інші, наприклад Mistral, Perplexity.

Ці компанії запускають ці моделі на своїх серверах (це швидко, це плюс), але під своїми умовами доступу до API (це мінус, умови бувають дуже різні).

Також є опенсорсні текстові нейромережі — ваги для них викладені, кожен бажаючий може їх дотюнити (дотренувати) під свої завдання, і запускати незалежно від оригінального автора (деталі ліцензій ми зараз опускаємо)

Це звичайно, безперечний плюс, але безперечним мінусом є те, що надавати інстанс (тобто сервер, що обробляє модель) ніхто не буде, і потрібно запускати її самостійно - що часто дуже дорого (бо треба орендувати машину з GPU) або повільно (якщо ви використовуєте оптимізацію та ганяєте модель на CPU).

В опенсорсі є поняття базових моделей і дотюнених моделей.

Базова модель тренується з нуля якоюсь великою компанією (оскільки витрати на тренування з нуля великі), а потім викладається в опенсорс. Далі вже невеликими зусиллями ентузіасти дотренують базову модель на своїх даних під конкретні завдання.

Найбільш відомі і найчастіше використовувані базові моделі зараз це:

•               Llama2 7B, 13B, 70B від Мета
•               Mistral 7B, Mixtral 8x7B від французького стартапу Mistral
•               Yi-34B (від китайської компанії 01.ai з фокусом англійською та китайською мовою)

Цифри наприкінці означають число параметрів у моделі — що більше, то модель загалом розумніша щодо логіці, але тим дорожче обходиться її дотренування і запуск. Дотюнені моделі зазвичай зберігають імена або розміри базових моделей у своїй назві, тому зазвичай завжди можна зрозуміти, на якій базі дотренувалася модель.

Завдання:

1. Зайти до ресурсу, що пропонує безкоштовне використання пропрієтарної нейромережі (рекомендовано chatgpt.com).

2. Спитати в системи "Що ти вмієш?". Зафіксувати відповідь.

3. Спитати в системи "Що ти вмієш у галузі програмування?". Зафіксувати відповідь.

4. Перевірити логіку роботи системи:

- Спитати в системи "Скільки ніг має кінь?". Зафіксувати відповідь.

- Написати, що в коня є дві передні ноги і дві задні, дві ліві і дві праві. Отже, 2+2+2+2=8, кінь має 8 ніг. Зафіксувати відповідь. Можете спробувати добитись отакого результата, виявивши прогалини в логіці нейромережі.

5. Попросити систему написати невелику програму "Привіт, світ!" вказаною вами мовою програмування. Зафіксувати відповідь.

6. Зробити висновки щодо адекватності реакцій системи.