System diagnostyczny KAPP powstał w efekcie realizacji projektu "Opracowanie i upowszechnienie narzędzi diagnostycznych do oceny zdolności poznawczych dzieci i młodzieży" współfinansowanego przez Unię Europejską ze środków Europejskiego Funduszu Społecznego. Projekt był realizowany w latach 2018–2022 przez ekspertów związanych z Instytutem Badań Edukacyjnych (lider) i SWPS Uniwersytetem Humanistycznospołecznym (partner).
Cele i założenia projektu
Usprawnianie funkcjonowania dziecka zarówno w środowisku szkolnym, jak i rodzinnym odbywa się poprzez rozpoznanie jego indywidualnych potrzeb i możliwości, ale także poprzez identyfikację i usunięcie barier zlokalizowanych w tych środowiskach.Działania te realizuje szkoła we współpracy z poradnią psychologiczno-pedagogiczną. Proces diagnozowania jest ich pierwszym etapem. Dlatego też podstawowym celem opracowanego systemu diagnostycznego KAPP jest rzetelna, adekwatna i wielowymiarowa diagnoza funkcjonowania poznawczego dzieci i młodzieży z populacji ogólnej oraz z indywidualnymi potrzebami edukacyjnymi, w tym niepełnosprawnościami. Służy temu odpowiednio zaprojektowana bateria KAPP uwzględniająca w swej formule zasady uniwersalnego projektowania i standardy WCAG na poziomie rozszerzonym oraz obejmująca szeroki zakres zdolności z zakresu funkcji wykonawczych, percepcji, mowy i komunikacji. Założenia konstrukcyjne systemu KAPP omówiono poniżej.
Diagnoza uniwersalnie zaprojektowana
Idea uniwersalnego projektowania (ang. Universal Design, UD) w diagnozie psychologicznej oznacza konstruowanie narzędzi w takich formach, by umożliwić osobie badanej reagowanie na zadania testowe w dostępny dla niej sposób, a diagnoście zapewnić jak najlepsze rozeznanie potrzeb i możliwości badanego (por. uniwersalnie zaprojektowane ocenianie, Universally Designed Assessments, UDA). Takie podejście umożliwia równy dostęp do warstwy treściowej zadań wszystkim badanym, co oznacza, że w tak przygotowanych zadaniach czy testach diagnozowani mają porównywalne szanse zademonstrowania swoich rzeczywistych kompetencji i wiedzy. W uniwersalnym projektowaniu wprowadzono siedem zasad równego dostępu, a zasady te zostały wykorzystane przy konstruowaniu narzędzia KAPP_A:
- zasada równości w dostępie;
- zasada dostępności informacji;
- zasada elastyczności użycia;
- zasada intuicyjności użycia;
- zasada tolerancji błędów;
- zasada niskiego poziomu wysiłku fizycznego;
- zasada dostępności przestrzennej.
Dostępność narzędzia oraz informacji związanych z diagnozowaniem polega na takim konstruowaniu zadań, aby były one w tym samym stopniu dostępne dla wszystkich uczniów. Chodzi o to, by różnice w wynikach były wyłącznie rezultatem zmiennych związanych bezpośrednio z mierzonym konstruktem, a nie konsekwencją różnic w dostępie do testu wynikającymi z ograniczeń sprawności osoby badanej czy jej specjalnych potrzeb. Jednocześnie w przypadku testów psychologicznych konieczne jest kontrolowane wpływu dostosowań na trafność pomiaru określonego konstruktu. Tworząc aplikację KAPP_A zadbano o oba te aspekty. Podtrzymano trafność teoretyczną testu, biorąc jednocześnie pod uwagę dostępność w warstwie formalnej (budowa, oprawa i struktura), treściowej (stopień trudności i złożoność poznawcza) oraz proceduralnej poszczególnych testów (czas na wykonanie zadania, sposób udzielania odpowiedzi).
Elastyczność użycia zakłada możliwość użytkowania testu w różnych formach oraz pozwala na wybór dostosowań zgodnie z indywidualnymi preferencjami badanego. W konstrukcji KAPP_A zastosowano następujące udogodnienia:
- zmienna wielkość czcionki;
- wielomodalny dostęp do treści testu (wzrokowo-słuchowy, np. dwutorowe podawanie instrukcji);
- przyzwolenie na dodatkowy czas na udzielenie odpowiedzi (np. zniesienie limitów czasowych na udzielenie odpowiedzi w niektórych testach);
- różnorodność systemów komunikacyjnych – oprócz mowy wykorzystano także system migowy tam, gdzie było to możliwe (zawsze w przypadku instrukcji);
- tłumaczenie instrukcji na język obcy, którym posługuje się badany w zadaniach wykonaniowych, niezależnych kulturowo. W KAPP_A wykorzystano tłumaczenie instrukcji na języki: angielski, ukraiński i wietnamski.
Aplikacja KAPP_A jako narzędzie komputerowe daje większe możliwości modyfikacji audiowizualnych cech tekstu (np. możliwość ustawienia odpowiedniego kontrastu względem tła). Granicą zasady elastyczności w diagnozie psychologicznej jest konieczność spełniania warunku standaryzacji, jakim jest utrzymanie maksymalnie jednolitych warunków badania. Z tego powodu zakres, w których badany może skorzystać z dostosowań, zostały jasno określone.
Intuicyjność użycia wyraża się w poziomie łatwości obsługi aplikacji, a to z kolei wiąże się z zachowaniem spójności procedur. Wypracowano takie zasady obsługi testu przez osoby badane i psychologów, aby były łatwo przyswajalne i w miarę możliwości niezależne od doświadczenia czy też umiejętności w zakresie posługiwania się komputerem. Na przykład instrukcje i polecenia do zadań są wyrażone jasnym, precyzyjnym językiem, tak aby nie zachodziła konieczność korzystania z dodatkowych objaśnień. Ponadto w KAPP_A przewidziano specjalne treningi posługiwania się myszką i klawiaturą dla badanych, którzy tego potrzebują. W czasie badania istnieje możliwość powtarzania instrukcji i prób treningowych. Intuicyjność użycia wspierają również inne cechy aplikacji taki jak:
- transkrypcja opisowa wyświetlana na ekranie do wszystkich materiałów audio niebędących bodźcami testowymi dla dzieci umiejących czytać z wyjątkiem grupy z deficytem wzroku;
- logiczna i intuicyjna sekwencja nawigacji (konsekwencja w zakresie stosowania przycisków przechodzenia, wychodzenia i przerywania testu, jednolity sposób zaznaczania odpowiedzi);
- informacje o powodzeniu lub niepowodzeniu próby treningowej przekazywane wizualnie i audialnie;
- nielimitowany czas na przeczytanie instrukcji i inne.
Zasada tolerancji błędów chroni przed popełnianiem niepotrzebnych błędów, wynikających z problemów technicznych, a nie z deficytów badanej aktualnie sprawności. W KAPP_A zablokowano działanie klawiszy, które nie pełnią żadnej funkcji w teście; uniemożliwiono osobie wykonującej test jego przypadkowe zakończenie; zaprojektowano przebieg badania w taki sposób, by polecenia dawały natychmiastowy efekt na ekranie oraz by czas, który musi upłynąć między pytaniami oraz czas, którego potrzebuje system do zarejestrowania odpowiedzi, nie był wliczany do czasu mierzonego dla wykonywanych zadań itp.
Zasada niskiego poziomu wysiłku jest szczególnie istotna dla badanych ze SPE, w tym z niepełnosprawnościami, ponieważ mogą oni wykazywać wyższy poziom męczliwości z powodu wolniejszego tempa przetwarzania informacji sensorycznych, korzystania ze specjalistycznych pomocy lub technologii asystujących (jak np. lupa w przypadku słabowidzących), czy zakłócenia w odbiorze treści w modalności obciążonej deficytem itp. Realizacji tej zasady służy wiele rozwiązań zależnych od celu pomiaru: zapewnienie przerw w czasie badania zgodnie z indywidualnymi potrzebami; podział standardowego procesu badania na krótsze etapy; zmniejszenie liczby itemów; zwiększenie limitu czasowego na wykonanie zadania; wprowadzenie reguł przerywania badania testem, wydłużony czas na wykonanie zadania.
Zasada dostępności przestrzennej oznacza możliwość operowania na materiale testowym dla wszystkich potencjalnych badanych. Test powinien zostać tak zaprojektowany, żeby techniczne wykonywanie wszelkich zadań było możliwe niezależnie od ograniczeń. W testach administrowanych komputerowo barierę mogą stanowić ograniczone umiejętności obsługi komputera albo brak fizycznej możliwości operowania myszą lub klawiaturą. W niektórych testach KAPP zdecydowano się umożliwić zastąpienie odpowiedzi motorycznej odpowiedzią werbalną, np. w celu wskazania wyboru.
Standardy WCAG w aplikacji KAPP_A
Aplikacja KAPP_A została opracowana z uwzględnieniem standardów WCAG 2.1 na poziomie AA. Zasadę postrzegalności, która wymaga by użytkownicy mogli korzystać z testów za pomocą różnych zmysłów zastosowano w KAPP_A poprzez dwutorowe podawanie instrukcji. Przekazywane są one badanym pisemnie na ekranie komputera oraz słuchowo przez lektora lub badającego. Aplikacja KAPP_A daje też możliwość modyfikowania formy prezentacji niektórych zadań w celu zachowania dostępności, np.: możliwość powiększenia rozmiaru tekstu. Przygotowująć narzędzie zachowano kontrastu między tekstem a tłem 4,5:1; uwzględniono transkrypcję opisową dźwięku; możliwość wyłączenia dźwięku czy przedstawienie informacji w języku migowym. Zasadę funkcjonalności, która zakłada umożliwienie użytkownikom znajdowanie i używanie funkcji czy treści niezależnie od sposobu nawigowania, zrealizowano poprzez udostępnienie dwóch sposobów obsługi aplikacji - za pomocą klawiatury i myszy. Zasada zrozumiałości wymaga jasnego prezentowania treści i intuicyjnego sposobu działania strony. W KAPP_A uzyskano ten efekt za pomocą uproszczonych językowo instrukcji oraz spójnego wyglądu i działania poszczególnych testów. Zasada solidności oznacza, że treści i funkcje aplikacji będą działały jednakowo dobrze w różnych środowiskach użytkowników (np. różnych przeglądarkach czy czytnikach ekranu). Zaimplementowanie tych zasad w aplikacji KAPP_A sprawia, że jest ona dostosowana do potrzeb osób z niepełnosprawnościami i przejrzysta dla każdego odbiorcy.
Diagnoza funkcjonalna
Przygotowując system diagnostyczny KAPP autorzy opierali się na założeniach diagnozy funkcjonalnej. Przyjęto za cel stworzenie narzędzia, które nie tylko pozwoli ocenić i porównać poziom rozwoju funkcji poznawczych badanego na tle innych osób z jego grupy odniesienia, ale przede wszystkim umożliwi wielowymiarowy opis jego funkcjonowania oraz zrozumienie specyfiki potencjału lub/i trudności z jakimi się zmaga. Wykorzystanie baterii KAPP, na którą składają się testy komputerowe i skale obserwacyjne, daje okazję do rozpoznania mocnych i słabych stron badanego, a także szerokiego opisu jego właściwości i cech z uwzględnieniem kontekstu.
Ważnym elementem diagnozy funkcjonalnej jest wykorzystanie uzyskanych wglądów o specyfice funkcjonowania badanego po to by optymalnie wspierać jego rozwój. Tak przeprowadzona diagnoza jest więc bezpośrednio powiązana z planowaniem i realizacją działań postdiagnostycznych. System diagnostyczny KAPP obejmuje również pulę ponad 700 materiałów postdiagnostycznych, dostosowanych treścią i formą do diagnozowanych w baterii KAPP obszarów, ale również wieku badanych oraz ich specjalnych potrzeb edukacyjnych. Aplikacja KAPP_A dobiera i proponuje je bezpośrednio po badaniu na podstawie uzyskanych wyników i danych o diagnozowanym, jak również umożliwia dostęp do pełnej puli scenariuszy, kart pracy, gier czy materiałów edukacyjno-informacyjnych i samodzielny ich wybór.
Diagnoza 270 stopni
Koncepcja oceny 360/270 stopni polega na zbieraniu kompleksowych i obiektywnych informacji zwrotnych na temat osoby badanej pochodzących jednocześnie z wielu różnych źródeł. Zwiększa to rzetelność i trafność diagnozy, ale też praktyczną użyteczność zgromadzonych danych. Pozwala na określenie mocnych stron danej osoby i jej potencjału oraz sprzyja adekwatnemu planowaniu wspierania jej rozwoju
W baterii KAPP wykorzystano diagnozę 270 stopni, opierając się na danych pochodzących z trzech źródeł: bezpośredniego badania psychologicznego dziecka z wykorzystaniem aplikacji KAPP_A, kwestionariuszy wypełnianych przez rodziców dzieci, dotyczących funkcji poznawczych tych samych, które ocenia KAPP_A, kwestionariuszy wypełnianych przez nauczycieli/wychowawców dzieci, dotyczących funkcji poznawczych takich samych, które ocenia KAPP_A. Zbieranie danych z trzech źródeł pozwala nie tylko na obiektywną ocenę sprawności dziecka otrzymaną na podstawie badania aplikacją KAPP_A, lecz także na uzyskanie obrazu funkcjonowania dziecka w warunkach naturalnych – w domu czy szkole. Pozwala to na pełniejszą ocenę funkcjonalną i szukanie odpowiedzi na pytanie, czy potencjał dziecka w rzeczywistości ma szansę na ujawnienie się. Dzięki temu można również wyciągnąć wnioski na temat radzenia sobie przez dziecko z pewnymi swoimi ograniczeniami, co ma wpływ na percepcję jego funkcjonowania.
Etapy realizacji projektu
Projekt realizowano od lipca 2018 r. do kwietnia 2023 r. Praca nad systemem diagnostycznym KAPP obejmowała następujące etapy:
- Praca teoretyczna
- opracowanie koncepcji narzędzia i założeń teoretycznych
- przygotowanie pilotażowej wersji narzędzi.
- Badania walidacyjne
- realizacja badań pilotażowych
- opracowanie wersji narzędzia do badań standaryzacyjnych
- Badania normalizacyjne i opracowanie materiałów postdiagnostycznych
- przeprowadzenie badań normalizacyjnych,
- przygotowanie podręczników,
- produkcja narzędzi,
- przygotowanie materiałów postdiagnostycznych,
- dystrybucja i upowszechnienie narzędzi do poradni psychologiczno-pedagogicznych
Produkty projektu
Efektem projektu jest nowatorski i spójny system diagnostyczny do oceny rozwoju poznawczego dzieci i młodzieży w wieku od 3 miesięcy do 25 lat. W skład zestawu wchodzi komputerowa bateria testów poznawczych, skale obserwacyjne do oceny tej sfery rozwoju, przeznaczone dla rodziców i nauczycieli oraz zestaw materiałów postdiagnostycznych, wspomagających pracę z dziećmi wymagającymi stymulacji rozwoju poznawczego.
Narzędzia w postaci nowoczesnej aplikacji komputerowej, zawierającej testy i materiały postdiagnostyczne dla specjalistów i nauczycieli, mogą być w łatwy sposób rozdystrybuowane do nieograniczonej liczby placówek. Dzięki czemu może z nich korzystać nieograniczona liczba specjalistów. Co więcej opracowane narzędzia, są ekonomiczne i łatwe w obsłudze, a także możliwe do rozbudowywania i aktualizowania w przyszłości, co pozwala na ich sprawną aktualizację i dostosowywanie do zmieniających się dynamicznie warunków i potrzeb diagnozy.