Technologie generatywne w szkolnictwie wyższym - diagnoza sytuacji, przydatne kompetencje i propozycja metody

Andrzej Wodecki

Abstrakt

Słowa kluczowe: technologie generatywne, modele językowe, zarządzanie wiedzą, metodyka nauczania, ewaluacja

Wprowadzenie

Technologie generatywne budzą wiele kontrowersji. Z jednej strony fascynują swoimi możliwościami, z drugiej zaś ich potencjalny wpływ na społeczeństwo rodzi niepokój. Jak każda technologia oparta na wiedzy, najpewniej wpłyną nie tylko na sposób pracy, ale też procesy dydaktyczne.

Nic więc dziwnego, że coraz więcej badaczy interesuje się potencjałem wykorzystania tych technologii w procesach dydaktycznych. Na przykład Kung i inni (2023) wskazują, że systemy takie jak ChatGPT mogą efektywnie wspierać edukację medyczną. Z kolei Kasneci i inni (2023) w swojej kompleksowej analizie pokazują szanse i wyzwania tworzone przez technologie generatywne w edukacji, w szczególności nowe kompetencje, które powinni pozyskać zarówno nauczyciele, jak i studenci, aby móc je efektywnie wykorzystać w procesie dydaktycznym. Bulathwela i inni (2023) demonstrują wysoką skuteczność dotrenowywania modeli generatywnych na korpusach treści naukowych w podnoszeniu jakości pytań stosowanych później w procesie dydaktycznym.

Celem tego artykułu jest refleksja na temat możliwego wpływu technologii generatywnych na procesy zarządzania wiedzą, wskazanie kluczowych kompetencji niezbędnych do wykorzystania ich potencjału (w bezpieczny i etyczny sposób) oraz propozycja zastosowania tych narzędzi jako metody dydaktycznej w szkolnictwie wyższym. Całość została poprzedzona krótkim wprowadzeniem w tematykę (pojęcia i technologie), zilustrowana przykładem działania automatycznego systemu informacji zwrotnej o ocenach pracy studentów oraz uzupełniona o możliwe szanse i zagrożenia wynikające z korzystania z takich rozwiązań.

Technologie generatywne: nowe pojęcia, zjawiska i kompetencje

W ocenie faktycznych szans i zagrożeń związanych z nowymi metodami i technologiami pomocne jest przyswojenie kluczowych pojęć, metod i technik, a następnie stopniowe uczenie się ich wykorzystania w praktyce. Poniżej przedstawiono najważniejsze pojęcia i technologie leżące u podstaw modeli generatywnych oraz wynikające z praktycznych doświadczeń autora (jako badacza, konsultanta i programisty rozwiązań z obszaru uczenia maszynowego), a także możliwe nowe zjawiska: sposoby programowania, metody pracy i zarządzania wiedzą.

Nowe pojęcia i technologie

U podstaw popularnych ostatnio rozwiązań typu ChatGPT leżą tzw. technologie generatywne. Warto podkreślić, że umożliwiają one nie tylko generowanie tekstów, ale też obiektów w innych modalnościach: obrazów (por. https://openai.com/product/dall-e-2; https://stability.ai/stable-diffusion; https://www.midjourney.com), dźwięków (np. https://www.beatoven.ai) czy filmów (np. https://sites.research.google/phenaki).

Największe zainteresowanie (ale też i kontrowersje) budzą tzw. duże modele językowe (ang. Large Language Models). Można je podzielić na modele podstawowe (ang. Foundation Models), np. rodzina modeli wytrenowanych przez OpenAI GPT-n (https://openai.com/product/gpt-4) czy stworzona przez firmę Meta LLaMA (MetaAI, 2023), modele dotrenowane metodą nadzorowaną (Supervised Finetuning), np. Vicuna (The Vicuna Team, 2023) oraz z wykorzystaniem informacji zwrotnej pochodzącej od człowieka (ang. Reinforcement Learning with Human Feedback). Inny, praktyczny podział związany jest z dostępem do tych modeli: możemy z nich korzystać albo za pośrednictwem interfejsów programistycznych (ang. Application Programming Interface - API), albo mając je bezpośrednio zainstalowane na własnych komputerach. Pierwsze rozwiązanie jest szybsze i w większości przypadków tańsze, ale nie zapewnia prywatności (każda interakcja z systemem wiąże się z przekazaniem informacji na serwery firmy zewnętrznej). Drugie zapewnia prywatność, ale wymaga zaangażowania ekspertów i dostępu do bardzo drogich serwerów.

Podstawowe modele językowe potrafią stosunkowo dobrze (czasem nawet nadzwyczaj dobrze) odpowiadać na pytania ogólne. Wiele organizacji potrzebuje jednak odpowiedzi na pytania bezpośrednio związane z ich działalnością. Osiągnięcie tego celu możliwe jest na dwa sposoby: 1) poprzez dotrenowanie modelu podstawowego, np. z wykorzystaniem metod Supervised Finetuning lub Reinforcement Learning with Human Feedback (RLHF) (por. Ouyang i in., 2022; Rae i in., 2022) lub 2) wprowadzenie do zapytania użytkownika podpowiedzi pochodzącej z własnej bazy wiedzy. Pierwsze z tych podejść wymaga dużego wysiłku, zarówno technicznego, jak i organizacyjnego, drugie zaś jest stosunkowo proste - nic więc dziwnego, że większość organizacji decyduje się właśnie na nie.

Wprowadzenie do zapytania użytkownika wiedzy z własnych zasobów jest jedną z metod dynamicznie rozwijającej się dziedziny tzw. inżynierii zapytań, podpowiedzi lub kontekstu (ang. Prompt Enginering - PE). Modele generatywne są stochastyczne ze swej natury: są wytrenowane do prognozowania kolejnych sekwencji (tekstu, obrazu, dźwięku, szeregu czasowego). W naturalny sposób to, co wprowadzimy na wejściu jako zapytanie krytycznie wpływa na odpowiedź (będącą w pewnym sensie kontynuacją zapytania). Inżynieria podpowiedzi jest zbiorem reguł i dobrych praktyk formułowania zapytań tak, by odpowiedź modelu w najlepszy sposób odpowiadała naszym intencjom.

W tym też sensie można ją porównać do inżynierii programowania. Programowanie również sprowadza się do tworzenia i organizacji poleceń w taki sposób, aby komputer zrealizował zadanie w sposób najbardziej odpowiadający naszym oczekiwaniom. Przez organizację poleceń rozumiemy tu grupowanie komend w funkcje, funkcji w biblioteki, tworzenie klas i obiektów etc.

Inżynieria zapytań jest fundamentem nie tylko efektywnego korzystania z modeli generatywnych (nie tylko językowych), ale również tworzenia aplikacji na nich opartych. Biblioteki takie jak LangChain (https://python.langchain.com/en/latest) pozwalają na projektowanie sekwencji zapytań do modeli generatywnych, uzupełniając je o wiele narzędzi umożliwiających np. korzystanie z wyszukiwarek internetowych, operacje na dysku użytkownika (w tym wczytywanie dokumentów i zapisywanie wyników), a nawet uruchamianie skryptów Python i akcji systemowych. Pakiety takich narzędzi (ang. toolkits) mogą być przekazane do dyspozycji tzw. agentów: programów komputerowych o dużej autonomii, które realizują zadania sformułowane przez użytkownika na stosunkowo ogólnym poziomie.

Rozwój modeli generatywnych wprowadził do projektowania aplikacji jakościowe nowe elementy:

1. Wymagające dużej precyzji (wynikającej np. ze składni języka) programowanie funkcji zastępuje się zdecydowanie bardziej elastycznym projektowaniem zapytań (podpowiedzi, promptów).
2. Artefaktem (wejściem i wyjściem z programów przekazywanym w ramach potoku) są już nie tylko dane czy modele uczenia maszynowego, ale też pytania, wiedza i pomysły.
3. Komponenty w potoku (najczęściej funkcje lub obiekty) generują bardziej stochastyczne, nieprzewidywalne wyniki:
   
   1. Są efektem działania modeli generatywnych, które w swej naturze mają pewien stopień chaotyczności (co ciekawe, można to w wielu przypadkach regulować tzw. temperaturą modelu);
   2. Jakość ich odpowiedzi zależy nie tylko od pytania, ale też od korpusu (zbioru treningowego), na którym zostały wytrenowane.

Obserwacje te leżą u podstaw nowych zjawisk, które pokrótce przedstawione zostaną poniżej.

Nowe zjawiska w zarządzaniu wiedzą

Wprowadzenie modeli generatywnych przyczynia się do rozwoju nowych metod i technik w obszarze zarządzania wiedzą. Pojawiają się nowe kategorie wiedzy: zapytania (prompts) i ich repozytoria. Efektywność działania baz wiedzy w dużej mierze zależy nie tylko od umiejętności użytkowników w obszarze inżynierii zapytań, ale też narzędzi ich w tym wspomagających. Co ciekawe, najlepsze efekty uzyskuje się, wykorzystując odpowiednio wytrenowane (do generowania promptów) modele uczenia maszynowego, które mogą w procesie ich formułowania tworzyć własny, niezrozumiały dla człowieka język (por. Cheng i in., 2023; Ge i in., 2022).

Projektowanie aplikacji wykorzystujących modele językowe wymaga mapowania procesów. W klasycznym podejściu podstawą analizy wymagań systemu informatycznego jest mapowanie procesów biznesowych. W przypadku aplikacji wykorzystujących modele językowe konieczne jest zmapowanie procesu podejmowania decyzji i, ogólnie, myślenia - co wymaga nieco innych umiejętności i metod.

Systemy zarządzania wiedzą oparte na dużych modelach językowych korzystają też z nowych form wiedzy. Mówimy tu konkretnie o wspomnianych wcześniej syntetycznych (generowanych przez modele uczenia maszynowego) zapytaniach oraz tzw. zanurzeniach bloków tekstu: ich numerycznej reprezentacji w wielowymiarowej przestrzeni, w której sformułowania o zbliżonym znaczeniu są położone stosunkowo blisko siebie. Te nowe reprezentacje wiedzy są z kolei podstawą działania nowych metod jej ekstrakcji: wyszukiwarek semantycznych, wyszukiwarek tekstu (ang. text retriever) oraz wyszukiwarek zapytań (ang. prompt retriever).

Jak widać, projektowanie rozwiązań wykorzystujących współczesne modele generatywne katalizuje rozwój nie tylko nowych technologii, ale też metod projektowania aplikacji oraz zarządzania wiedzą. W naturalny sposób wymagać to będzie kształtowania nowych umiejętności - co jest tematem dalszej części niniejszego opracowania.

Zadania i kompetencje

Technologie generatywne budzą liczne kontrowersje. Wiele z nich związanych jest z obawami wobec sposobu ich wykorzystania oraz miejsca człowieka w procesach, na które te technologie wpłyną. Spróbujmy podsumować wnioski z projektów bądź wytwarzających takie rozwiązania, bądź wykorzystujących je w praktyce.

Okazuje się, że krokiem milowym w rozwoju dużych modeli języka było zaangażowanie do ich doskonalenia ludzi. Modele fundamentalne (ang. foundation models) zostały wytrenowane na bardzo dużych korpusach tekstu (np. archiwach WebCrawl). Ich jakość pozostawiała jednak wiele do życzenia. Dużą poprawę jakości działania osiągnięto wprowadzając tzw. treningi instruktażowe, w których uzupełniono wspomniane wcześniej korpusy tekstu o duże liczby par pytanie - odpowiedź, wygenerowanych przez ludzi (por. Ouyang i in., 2022). Było to jedno z bardziej interesujących zastosowań znanej od lat w uczeniu maszynowym koncepcji tzw. człowieka w pętli (ang. human-in-the-loop).

Kolejnym krokiem milowym okazało się zastosowanie metod nauczania ze wzmocnieniem z wykorzystaniem opinii człowieka (ang. reinforcement learning with human feedback). W tym podejściu ludzie zostali poproszeni o ocenę (a dokładnie ranking) odpowiedzi dużych modeli językowych na różne pytania. Efektem był model uczenia maszynowego wytrenowany tak, by w najlepszy możliwy sposób symulować opinię człowieka. Następnie model ten został wykorzystany jako komponent generujący opinię (nagrodę) w automatycznym już procesie nauczania ze wzmocnieniem.

Jak widać, rola człowieka w procesie udoskonalania modeli językowych sprowadza się najpierw do roli nauczyciela (trening instruktażowy, Supervised Finetuning), a na dalszym etapie - recenzenta. Można sobie wyobrazić, że w niedalekiej przyszłości takie właśnie zadania przypadać będą ludziom: będziemy nie tyle realizatorami, co nauczycielami, recenzentami i decydentami. I do tego powinniśmy się powoli przygotowywać.

Nie zmniejsza to jednak obaw przed utratą pracy osób wykonujących różne zawody. Wśród najbardziej zagrożonych wymienia się twórców treści, tłumaczy, ale też programistów. Doświadczenia Autora jako programisty systemów uczenia maszynowego wskazują jednak na coś zupełnie przeciwnego: rozwiązania takie jaki GitHub Copilot czy Chat GPT-4 wielokrotnie przyspieszają proces programowania, co wcale nie zmniejsza (a nawet zwiększa) czasu jemu poświęconego. Ten paradoksalny efekt jest związany z usprawnieniem całego procesu, częstymi nagrodami (sukcesami w realizacji kolejnych etapów projektu) i czysto ludzką chęcią eksploracji. W efekcie dzięki takim narzędziom proces programowania jest nie tylko bardziej efektywny, ale też wciągający, generujący nowe, nieoczekiwane wcześniej efekty i pomysły. Niewykluczone więc, że podobne zjawiska można będzie zaobserwować w innych branżach.

Jakie więc mogą być kompetencje przyszłości w kontekście dynamicznego rozwoju technologii generatywnych? Odpowiedź na to pytanie wymaga oczywiście przeprowadzenia dogłębnych badań, niemniej poniżej Autor pokusił się o pierwsze hipotezy, ograniczając się do przykładów z szeroko rozumianej inżynierii.

Aktualnie kluczową kompetencją osób tworzących rozwiązania przemysłowe (w tym informatyczne) jest projektowanie, wytwarzanie, utrzymanie i rozwój maszyn wykonujących prace, które można opisać algorytmem: różne operacje mechaniczne, obliczenia czy sekwencje działań częściowo zastępujących podstawowe funkcje poznawcze, np. percepcję (w różnych modalnościach), predykcję (klasyfikacja, regresja), segmentację czy identyfikację relacji przyczynowo-skutkowych.

Rozwój aplikacji wykorzystujących zaawansowane modele generatywne wymagać będzie umiejętności projektowania procesów myślenia rozumianych jako sekwencje i kolejne iteracje wyższych funkcji poznawczych takich jak planowanie, podejmowanie decyzji, wybór optymalnych działań, analiza krytyczna (np. identyfikacja niespójności logicznych etc.) czy procesy kreatywne (np. identyfikacja nowych idei).

Można się spodziewać, że szczególnie istotne będą umiejętności takie jak myślenie analityczne (niezbędne w mapowaniu procesów decyzyjnych i projektowaniu architektur inteligentnych), zarządzanie wymaganiami: precyzyjne określenie standardów działania komponentów inteligentnych oraz myślenie krytyczne niezbędne do oceny jakości działania takich architektur (uzupełnione o znajomość ilościowych metod pomiaru ich efektywności) (por. Chang i in., 2023).

Bardzo ważna będzie też elastyczność, otwartość na nieoczekiwane efekty i ich możliwe zastosowania. Efekty działania struktur inteligentnych mogą być inne od tego, czego się spodziewaliśmy, ale niekoniecznie gorsze. A to z kolei może wpłynąć na zmianę nie tylko celu komponentu cząstkowego, ale też całego projektu. Taką zmianą trzeba rozważnie zarządzać: konieczna będzie odpowiednia adaptacja zwinnych metodyk zarządzania projektami (podobnie jak wprowadzenie uczenia maszynowego wymusiło adaptację metodyk wytwarzania oprogramowania takich jak DevOps, czego efektem jest metodyka MLDevOps).

Na koniec, w sytuacji gdy maszyny będą coraz lepsze w wykonywaniu coraz bardziej zaawansowanych poleceń, szczególną rolę odegra nieszablonowe myślenie: zadaniem człowieka będzie raczej wskazanie celu niż strategii jego realizacji (czyli raczej szukanie odpowiedzi na pytania: co? i dlaczego? niż: jak?).

Podsumowując, do rozwoju i wykorzystania pełnego potencjału technologii generatywnych niezbędna będzie interesująca kombinacja umiejętności miękkich (myślenie analityczne, zarządzanie wymaganiami czy nieszablonowe myślenie) z nowymi umiejętnościami twardymi (np. inżynieria zapytań czy metodyka zarządzania projektami typu LLMops).

Czego w związku z tym i w jaki sposób nauczać w szkołach i na uczelniach? Jakie rodzi to wyzwania dla systemu edukacji?

Propozycja metody wykorzystania technologii generatywnych w szkolnictwie wyższym

Nowe interakcje, nowe metody

Jak pokazano wyżej, technologie generatywne mogą wprowadzić wiele zmian w sposobie pracy. Pełne wykorzystanie ich możliwości i dalszy rozwój wymagać będzie nowych umiejętności, co w naturalny sposób jest wyzwaniem dla systemu kształcenia. Niezależnie jednak może też zrewolucjonizować sam proces dydaktyczny.

Rozwiązania typu ChatGPT budzą kontrowersje. Jedną z nich jest ryzyko nieuczciwego ich zastosowania przez studentów np. jako metody rozwiązywania zadań czy też generowania treści (jest to zjawisko inne niż plagiatowanie). Poniżej zostanie przedstawione spojrzenie na te zagadnienia z perspektywy projektowania dydaktycznego, a na koniec propozycja prototypowego wykorzystania tych technologii w procesie dydaktycznym.

Technologie generatywne mogą wprowadzić nowe sposoby interakcji użytkownika z treściami dydaktycznymi tak, jak kilkadziesiąt lat temu multimedia cyfrowe. W pierwszym przybliżeniu, aby rozwiązać problem wystarczy zadać pytanie sztucznej inteligencji. Dobre praktyki wspomnianej wcześniej inżynierii zapytań wskazują jednak, że odpowiednie sformułowanie zapytania oraz uzupełnienie go o poprawny kontekst w krytyczny czasem sposób wpływają na jakość odpowiedzi. Dlatego konieczne jest iteracyjne podejście - wielokrotne powtarzanie sekwencji zapytanie - analiza odpowiedzi - usprawnienie zapytania. Staje się to w pewnym sensie nową formą interakcji z jakościowo nowym narzędziem dydaktycznym.

Co więcej, multimodalność technologii generatywnych (tekst, obrazy, filmy, muzyka, dane etc.) oraz ich integracja z narzędziami umożliwiającymi pozyskiwanie informacji ze źródeł zewnętrznych (lokalnych i z internetu) istotnie poszerza instrumentarium dydaktyczne. Zaś połączenie wspomnianych elementów z autonomicznymi agentami tworzy mieszankę wybuchową.

Nic więc dziwnego, że rozwiązania te mogą rodzić uzasadnione obawy dydaktyków. Ich racjonalne wykorzystanie w procesie nauczania wymaga nie tylko opanowania wielu metod i technik, ale też adaptacji procesu projektowania dydaktycznego. W połączeniu z bardzo dynamicznie zmieniającym się krajobrazem technologii, a całkiem niedługo również pewnie kwestiami regulacyjnymi, staje się to nie lada wyzwaniem.

Z drugiej strony wiele wskazuje na to, że technologie generatywne mogą stanowić fundament dla licznych systemów informacyjnych rozwijanych w przyszłości, co jest naturalną motywacją dla uruchomienia projektów dydaktycznych je wykorzystujących. Zdaniem Autora warto więc rozpocząć pierwsze eksperymenty i projekty badawcze, których celem będzie ocena wartości dydaktycznych narzędzi i metod wykorzystujących te technologie. Dobrze też poszukać odpowiedzi na fundamentalne pytania: jaka powinna być rola nauczyciela? Jak zaprojektować zadania dla studenta? I w jaki sposób mogą w tym wszystkim pomóc np. duże modele językowe? W celach ilustracyjnych poniżej przedstawiono propozycję wykorzystania technologii generatywnych w nauczaniu metodą projektową przedmiotu z zakresu zarządzania na kierunku politechnicznym (Autor dołożył jednak wszelkich starań, by rozważania miały możliwie uniwersalny wydźwięk).

Zacznijmy od określenia zadań metodyka nauczania (ang. instructional designer). W pierwszej kolejności powinien on możliwie precyzyjnie wyznaczyć cele procesu dydaktycznego, wskazując np. wiedzę, umiejętności oraz postawy, jakie uczący się powinien osiągnąć w jego efekcie. W kolejnych krokach (zależą one w dużej mierze od stosowanej metodyki projektowania) określane są metody dydaktyczne, metody weryfikacji postępów nauczania, projektowane interakcje oraz odpowiednie treści dydaktyczne. W przypadku metody projektowej przydatne jest też zmapowanie cech efektu projektu realizowanego przez studenta na założone cele dydaktyczne.

Uczeń z kolei, pracując nad projektem, powinien realizować zadania cząstkowe, konsultować się z innymi uczniami i nauczycielem, aby dostarczony produkt końcowy nie tylko spełniał wymagania, ale był też dowodem osiągnięcia zamierzonych rezultatów dydaktycznych¹.

W jaki sposób jednak wpleść do tego procesu technologie, aby dostarczyły realną wartość? Jak zaprojektować zajęcia, aby nie tylko nie pogorszyły jakości pracy studentów (poprzez wspomniane wyżej generowanie rozwiązań), ale zwiększyły ich zaangażowanie i wykształciły, oprócz charakterystycznych dla przedmiotu, również wspomniane wyżej kluczowe kompetencje takie jak nieszablonowe myślenie, zarządzanie oczekiwaniami czy inżynieria zapytań?

Zastosowanie modeli generatywnych w nauczaniu przedmiotu sztuczna inteligencja w biznesie

Poniżej przedstawiono założenia metodyczne oraz wspierające je aplikacje wykorzystujące technologie generatywne w nauczaniu przedmiotu sztuczna inteligencja w biznesie na kierunku politechnicznym.

Zajęcia prowadzone są w formie wykładów (30 h) i ćwiczeń (30 h). Celem tych ostatnich jest opracowanie uzasadnienia biznesowego wykorzystania sztucznej inteligencji w wybranej organizacji. Studenci pracują w tzw. sprintach projektowych (poniżej oznaczonych literą S), których rezultatem są następujące opracowania cząstkowe:

S1: Wybór firmy
S2: Definicja problemu
S3: Propozycja rozwiązania z wykorzystaniem uczenia maszynowego
S4: Analiza korzyści
S5: Analiza kosztów
S6: Sformułowanie uzasadnienia biznesowego
S7: Podsumowanie dla Zarządu.

Realizacja tych opracowań wspomagana jest obudową dydaktyczną w formie precyzyjnie sformułowanych zadań, formularzy oraz technik i metod omówionych na wykładach. Na poszczególnych zajęciach omawiane są rezultaty każdego ze sprintów (studenci pracują w grupach), na koniec zaś każda grupa prezentuje swoją ostateczną koncepcję, po czym otrzymuje informację zwrotną (od innych członków grupy oraz nauczyciela) i ocenę.

Aktualne zajęcia realizują cele dydaktyczne określone dla przedmiotu, w szczególności opanowanie umiejętności w zakresie identyfikacji potencjału wykorzystania technik i metod sztucznej inteligencji (SI) w wybranej organizacji, określenia celów projektu i strategii wdrożenia takich systemów oraz oceny kosztów i korzyści wynikających z ich uruchomienia. Wymaga to w naturalny sposób podstawowej wiedzy o SI oraz rozwinięcia umiejętności społecznych takich jak praca w grupie czy zarządzanie projektami.

Opisane niżej modyfikacje metodyczne mają za zadanie uzupełnienie tych celów o kompetencje opisane powyżej, w szczególności umiejętności iteracyjnego udoskonalania informacji uzyskiwanych od modeli generatywnych.

Nowy proces dydaktyczny zaplanowany jest w sposób opisany poniżej. Tak jak poprzednio, ostatecznym mierzalnym efektem pracy studentów jest uzasadnienie biznesowe dla wykorzystania sztucznej inteligencji w wybranej organizacji o strukturze takiej samej jak przedstawiona powyżej. Przed zajęciami nauczyciel precyzyjnie określa ilościowe i jakościowe wymagania wobec każdego z produktów i wprowadza je do dedykowanej aplikacji wykorzystującej model GPT-4 do automatycznej oceny pracy studenta. Przykładowe standardy wykonania, zarówno dla poszczególnych sekcji, jak i ogólne, przedstawiono na rysunku 1.

Rysunek 1
Pliki konfiguracyjne zawierające standardy wykonania ilościowe (liczba stron) i jakościowe

Uwaga. Kryteria mogą być modyfikowane przez nauczyciela.
Źródło: opracowanie własne.

Na zajęciach nauczyciel prezentuje standard wykonania dla danego sprintu, zaś studenci w grupach:

1. Realizują zadania i opisują wyniki w MS Word
2. Zrealizowane zadania ddają do recenzji przez dedykowaną aplikację wykorzystującą model GPT-4
3. Na podstawie informacji zwrotnej udoskonalają swoje opracowanie (cel: podniesienie punktacji).

Przykładowy raport z informacją zwrotną przedstawiono na rysunku 2. Zawiera on jakościowe i ilościowe podsumowanie oceny, wizualizację postępów w czasie (dla trzech wybranych momentów: pierwszego zgłoszenia, aktualnego zgłoszenia oraz wybranej recenzji powstałej pomiędzy nimi), oceny poszczególnych sekcji, ewaluację kryteriów ogólnych. Opinia wskazuje silne i słabe strony opracowania oraz rekomendacje usprawnień. Studenci są poinformowani o tym, że jest wygenerowana automatycznie.

Rysunek 2
Przykładowy raport wygenerowany przez system

Źródło: opracowanie własne.

System został skalibrowany tak, by wykorzystanie modelu GPT-3.5 z podstawowym zapytaniem o uzasadnienie biznesowe generował ocenę poniżej 50% oceny maksymalnej. Do przekroczenia progu zaliczenia wymagane jest udoskonalenie takiej wersji pracy. Należy podkreślić, że studenci nie będą zachęcani do korzystania z modeli generatywnych do rozwiązania zadania, niemniej nie będzie to zakazane.

Jak widać, informacja zwrotna z systemu nie jest doskonała, co w pewnym sensie pozostaje zaletą: studenci będą poinformowani, że generuje ją sztuczna inteligencja, a uświadomienie niedoskonałości jej działania stanowi jeden z efektów dydaktycznych. System generujący raport został przetestowany na wielu pracach, a efektem praktycznie każdego z tych testów była jego kalibracja: modyfikacja poleceń (promptów) do modelu językowego tak, aby informacja zwrotna spełniała oczekiwania nauczyciela (w tym przypadku Autora tego artykułu).

W dalszych krokach, na warsztatach podsumowujących sprint, studenci prezentują wyniki prac oraz własne refleksje:

1. Jakie informacje zwrotne otrzymali?
2. Jakie były ich hipotezy: działania, które podjęli, by podnieść ocenę?
3. Jakie były wyniki tych działań (na ile wpłynęły na opinię GPT)?
4. Jakie wnioski z tego płyną?

Nauczyciel podsumowuje te refleksje, wystawia własne oceny i (opcjonalnie) modyfikuje kryteria jakości na potrzeby kolejnych zajęć. Na koniec studenci prezentują kompletne uzasadnienie biznesowe dla swojego projektu. Całość procesu przedstawia rysunek 3. W pierwszym kroku (1) nauczyciel określa wymagania jakościowe i ilościowe wobec rezultatów realizowanego przez studentów projektu. Zapisuje je w pliku konfiguracyjnym i, na ogólnym poziomie, przedstawia studentom. Ci przystępują do realizacji poszczególnych etapów i przekazują kryteria jakościowe i ilościowe do recenzji przez system (2). Po jej otrzymaniu nanoszą korekty (3), opcjonalnie realizują kolejną iterację i prezentują wyniki prac na ćwiczeniach (4). W kolejnych iteracjach do recenzji przekazują efekt danego etapu razem z efektami etapów poprzednich - po to, by otrzymać informację zwrotną o danym zadaniu z uwzględnieniem kontekstu zadań poprzednich. Na koniec (5) studenci prezentują ostateczny projekt, otrzymują informację zwrotną oraz ocenę. Całość kończy refleksja na temat całego procesu.

Rysunek 3
Wizualizacja procesu dydaktycznego wykorzystującego model generatywny do udzielania informacji zwrotnej studentom

Źródło: opracowanie własne.

Spodziewane pozamerytoryczne (niezwiązane bezpośrednio z celami kursu sztuczna inteligencja w biznesie) efekty kształcenia opisanej metody są następujące:

1. Studenci pracując z modelami generatywnymi:
   
   1. Doskonalą umiejętności z obszaru inżynierii kontekstu (prompt engineering)
   2. Uczą się precyzyjnie formułować swoje oczekiwania, iteracyjnie podnosząc jakość swojego opracowania i uwzględniając przy tym własną kreatywność
   3. Rozpoznają zarówno silne strony, jak i ograniczenia oraz ryzyka związane z tymi technologiami
2. Nauczyciele:
   
   1. Uczą się pracować z modelami generatywnymi
   2. Doskonalą kryteria oceny poszczególnych komponentów (ilościowe i ilościowe), uwzględniając zdanie praktyków i studentów w tym zakresie
   3. Uczą się na nowo ewaluować efekty dydaktyczne.

Podsumowując, zarówno studenci, jak i nauczyciele uczą się w pełni wykorzystywać potencjał technologii generatywnych oraz rozpoznać ograniczenia i ryzyka związane z ich stosowaniem.

Szanse, wyzwania i rekomendacje dalszych badań

Jak już wielokrotnie podkreślano, technologie generatywne mogą być źródłem wielu zmian. Dla rozpoznania ich realnego potencjału, a później rozwoju w dobrym kierunku, kluczowe jest ich praktyczne opanowanie. Paradoksalnie, pomimo dużej złożoności procesów obliczeniowych, okazuje się, że tworzenie nawet bardzo zaawansowanych aplikacji jest stosunkowo proste: z perspektywy technicznej wystarczy najczęściej znajomość języka Python na poziomie średnio zaawansowanym oraz ogólna orientacja w tematyce. Osobom zainteresowanym Autor poleca np. wykorzystanie środowiska LangChain (https://python.langchain.com/en/latest) lub lekturę (np. Cai i in., 2023).

Paradoksalnie, łatwość projektowania i wytwarzania takich aplikacji bądź też stosowania systemów wykorzystujących technologie generatywne jest nie tylko szansą, ale też wyzwaniem. Przede wszystkim może powodować tzw. ułudę kompetencji: początkujący programista może odnieść wrażenie, że stworzenie zaawansowanych programów dzięki wsparciu asystentów takich jak GitHub Copilot jest stosunkowo proste. W rzeczywistości jednak systemy generatywne w najlepszy możliwy sposób realizują polecenia użytkownika. Jak widać, mamy tu dwa możliwe czynniki ryzyka: 1) model generatywny może nie być doskonały i 2) użytkownik może błędnie sformułować własne oczekiwania.

W efekcie może się okazać, że technologie te będą świetne w rękach profesjonalistów (potrafiących precyzyjnie zarządzać oczekiwaniami oraz kontrolować jakość odpowiedzi modelu), osobom początkującym zaś przysporzyć więcej szkody niż pożytku. Dodatkowo istnieje realne ryzyko wykorzystania tych technologii do rozwiązywania problemów, które powinny być rozwiązane samodzielnie, co w naturalny sposób prowadzi do degradacji umiejętności oraz kluczowych dla ich realizacji funkcji poznawczych.

Stwarza to zagrożenie, które roboczo można określić jako podział kompetencyjny społeczeństwa: technologie generatywne wzmocnią potencjał (wiedzę, umiejętności, produktywność) profesjonalistów, utrzymując pozostałe osoby na stałym, niskim poziomie lub nawet obniżając umiejętności osób nadużywających tych rozwiązań.

Kolejnym wyzwaniem, tym razem w dużej mierze dla organizacji, jest zapewnienie poufności. W jaki sposób w pełni wykorzystać potencjał modeli generatywnych, nie przesyłając do chmury własnych zapytań i/lub zasobów wiedzy? Okazuje się, że problem ten jest już w praktyce rozwiązywalny: technicznie możliwe jest zainstalowanie kompletu takich rozwiązań lokalnie, pomimo że koszty operacji są jeszcze stosunkowo wysokie.

Problem jednak pozostaje na poziomie społecznym. Popularność rozwiązania oferowanego przez dominującego dostawcę powoduje podnoszenie jakości jego usługi (dzięki mechanizmom ciągłego udoskonalania w procesie interakcji z użytkownikami), co generuje efekt pozytywnego sprzężenia zwrotnego (więcej użytkowników - więcej interakcji - więcej materiału treningowego - lepsza usługa - więcej użytkowników). Ale w efekcie istnieje ryzyko zmonopolizowania rynku przez jednego lub kilku dostawców - co w dłuższym horyzoncie czasowym może stanowić zagrożenie. Tym bardziej, zdaniem Autora, warto wspierać edukację w obszarze wykorzystania modeli generatywnych dostępnych na licencjach otwartych.

Podsumowanie

Wiele wskazuje na to, że technologie generatywne zrewolucjonizują liczne aspekty naszego funkcjonowania. Mamy być może nawet do czynienia z rewolucją porównywalną do rewolucji przemysłowej czy cyfrowej.

Efektem tej ostatniej była automatyzacja wielu procesów biznesowych (często rozumiana jako zastąpienie wybranych czynności w procesach realizowanych dotąd przez człowieka np. systemami informatycznymi), a niedługo później robotyzacja tych procesów (zastąpienie zadań człowieka przez komponenty inteligentne, np. rozpoznające obraz). Systemy generatywne mają zdaniem Autora potencjał autonomizacji procesów: zastąpienia człowieka w całych grupach czynności autonomicznymi agentami, efektywnie realizującymi złożone zadania z wykorzystaniem wielu różnych zestawów narzędzi.

W naturalny sposób generuje to pytania o miejsce człowieka w tej nowej rzeczywistości. Skoro maszyny lepiej od nas będą wykonywać pewne czynności, planować zadania czy określać wysokopoziomowe strategie, to jakie będą nasze zadania? I jak się do nich przygotować?

Zdaniem Autora w niedalekiej przyszłości nasza (ludzi) rola sprowadzi się do precyzyjnego formułowania celów, określania standardów wykonania prac, recenzowania ich wyników (w celu np. dalszego doskonalenia maszyn) i przede wszystkim podejmowania optymalnych, zgodnych z zasadami etycznymi, wyborów.

Aby to osiągnąć, kluczowe będzie rozwijanie umiejętności zarówno miękkich, jak i twardych. Bardzo ważne staną się: nieszablonowe, krytyczne myślenie, zdolności analityczne w szczególności w obszarze analizy procesów decyzyjnych, zdolność precyzyjnego formułowania oczekiwań oraz krytycznej oceny efektów pracy maszyn. Wśród umiejętności twardych warto wymienić zdolność do projektowania architektur systemów inteligentnych oraz inżynierię zapytań.

Celem tego artykułu było nie tyle udzielenie odpowiedzi na te trudne pytania, co wskazanie możliwych opcji, rekomendacja kierunków rozwoju metod dydaktycznych oraz interesujących obszarów badawczych. Zwłaszcza konstruktywna propozycja integracji technologii generatywnych z tradycyjnymi, sprawdzonymi w szkolnictwie wyższymi metodami nauczania.

Zaproponowana w artykule metoda dydaktyczna jest próbą integracji technologii generatywnych z tradycyjnymi procesami dydaktycznymi zorientowaną nie tylko na wykształcenie tych umiejętności, ale też podniesienie efektów kształcenia bezpośrednio związanych z celami nauczania przedmiotu.

Faktyczna ocena efektywności dydaktycznej wymaga jednak potwierdzenia naukowego - co wskazuje na nowy, interesujący kierunek badań: Wpływ technologii generatywnych na jakość procesów dydaktycznych.

Bibliografia

• Bulathwela, S., Muse, H. i Yilmaz, E. (2023). Scalable educational question generation with pre-trained language models. W N. Wang, G. Rebolledo-Mendez, N. Matsuda, O. C., Santos i V. Dimitrova (red.), Artificial Intelligence in Education: 24th International Conference, AIED 2023, Tokyo, Japan (s. 327-339). https://doi.org/10.1007/978-3-031-36272-9_27
• Cai, Y., Mao, S., Wu, W., Wang, Z., Liang, Y., Ge, T., Wu, C., You, W., Song, T., Xia, Y., Tien, J. i Duan, N. (2023). Low-code LLM: Visual Programming over LLMs. arXiv. https://doi.org/10.48550/arXiv.2304.08103
• Chang, Y., Wang, X., Wang, J., Wu, Y., Yang, L, Zhu, K., Chen, H., Yi, X., Wang, C., Wang, Y., Ye, W., Zhang, Y., Chang, Y., Yu, P. S., Yang, Q. i Xie, X. (2023). A survey on evaluation of Large Language Models. https://doi.org/10.48550/arXiv.2307.03109
• Cheng, D., Huang, S., Bi, J., Zhan, Y., Liu, J., Wang, Y., Sun, H., Wei, F., Deng, D. i Zhang, Q. (2023). UPRISE: Universal Prompt Retrieval for Improving Zero-Shot Evaluation. arXiv. https://doi.org/10.48550/arXiv.2303.08518
• Ge, T., Hu, ., Dong, L., Mao, S., Xia, Y., Wang, X., Chen, S.-Q. i Wei, F. (2022). Extensible prompts for language models. arXiv. https://doi.org/10.48550/arXiv.2212.00616
• Kasneci, E., Sessler, K., Küchemann, S., Bannert, M., Dementieva, D., Fischer, F., Gasser, U., Groh, G., Günnemann, S., Hüllermeier, E., Krusche, S., Kutyniok, G., Michaeli, T., Nerdel, C., Pfeffer, J., Poquet, O., Sailer, M., Schmidt, A., Seidel, T. ... Kasneci, G. (2023). ChatGPT for good? On opportunities and challenges of large language models for ducation. https://doi.org/10.35542/osf.io/5er8f
• Kung, T. H., Cheatham, M., Medenilla, A., Sillos, C., De Leon, L., Elepano, C., Madriaga, M., Aggabao, R., Diaz-Candido, G., Maningo, J. i Tseng, V. (2023). Performance of ChatGPT on USMLE: Potential for AI-assisted medical education using large language models. PLOS Digital Health, 2(2), e0000198. https://doi.org/10.1371/journal.pdig.0000198
• MetaAI. (2023, 24 lutego). Introducing LLaMA: A foundational, 65-billion-parameter language model. https://ai.meta.com/blog/large-language-model-llama-meta-ai
• Ouyang, L., Wu, J., Jiang, X., Almeida, D., Wainwright, C. L., Mishkin, P., Zhang, C., Agarwal, S., Slama, K., Ray, A., Schulman, J., Hilton, J., Kelton, F., Miller, L., Simens, M., Askell, A., Welinder, P., Christiano, P., Leike, J. i Lowe, R. (2022). Training language models to follow instructions with human feedback. arXiv. https://doi.org/10.48550/arXiv.2203.02155
• Rae, J. W., Borgeaud, S., Cai, T., Millican, K., Hoffmann, J., Song, F., Aslanides, J., Henderson, S., Ring, R., Young, S., Rutherford, E., Hennigan, T., Menick, J., Cassirer, A., Powell, R., Driessche, G. van den, Hendricks, L. A., Rauh, M., Huang, P.-S., ... Irving, G.(2022). Scaling language models: Methods, analysis and insights from Training Gopher. arXiv. https://doi.org/10.48550/arXiv.2112.11446
• The Vicuna Team. (30 marca 2023). Vicuna: An Open-Source Chatbot Impressing GPT-4 with 90%* ChatGPT Quality. https://lmsys.org/blog/2023-03-30-vicuna