Problem z pytaniami na prawo jazdy to problem systemowy

W Niemczech czy Wielkiej Brytanii państwo nie zajmuje się tak jak Polska „produkcją pytań” egzaminacyjnych na prawo jazdy. Tam zleca się to przygotowanym zewnętrznym firmom. Państwo pełni rolę administratora i regulatora. Jeśli nie zmienimy tego w Polsce, pojawią się kolejne kryzysy z wadliwymi pytaniami i zaufanie do państwowego egzaminu będzie spadało

Od blisko 30 lat zajmuję się systemem egzaminowania kandydatów na kierowców. Dziś odpowiadam za egzaminy wewnętrzne w ponad 2000 ośrodków szkolenia kierowców, które rocznie przeprowadzają kilkanaście milionów sesji egzaminacyjnych przy średniej 11 podejść na kandydata.

To doświadczenie nie jest teoretyczne. To jest wiedza oparta na ogromnej skali danych i realnych zachowaniach kursantów.

Chcę jasno powiedzieć: problem błędów w pytaniach egzaminacyjnych nie jest problemem pojedynczych treści. To jest problem systemowy – logistyczno-techniczny.

Bank pytań egzaminacyjnych to nie jest dokument ani lista pytań. To jest złożony system: baza danych, procesy tworzenia treści, projektowanie grafik i animacji, wersjonowanie, testowanie, analizy jakości, dystrybucji i aktualizacji. To jest produkt cyfrowy.

I trzeba to powiedzieć wprost: to nie jest zadanie dla urzędu w obecnej formule.

Dlaczego system dopuszcza wady?

Dziś skupiamy się na tym, czy konkretne pytanie jest poprawne. Ale to można ocenić po fakcie. Natomiast kluczowe pytanie brzmi: dlaczego system dopuszcza do tego, że wadliwe pytania w ogóle trafiają do bazy pytań?

Odpowiedź jest prosta: ponieważ system nie ma wbudowanych mechanizmów kontroli jakości i walidacji przed publikacją. Nie ma zdefiniowanych standardów technologicznych i metodycznych, które musi spełnić każde nowe pytanie, zanim zobaczy je pierwszy kandydat na kierowcę.

Jak to wygląda w krajach, gdzie system działa?

Przyjrzyjmy się rozwiązaniom z Niemiec i Wielkiej Brytanii. Tam państwo nie zajmuje się „produkcją” pytań. Państwo pełni rolę regulatora i audytora.

Model niemiecki (TÜV/DEKRA): Egzaminy są realizowane przez wyspecjalizowane organizacje techniczne. To one odpowiadają za jakość bazy pytań, jej aktualność i poprawność. Państwo określa jedynie ramy programowe i nadzoruje proces.

Model brytyjski (DVSA): DVSA (Driver and Vehicle Standards Agency) zarządza bazą, ale proces tworzenia i testowania pytań jest sformalizowany i oparty na badaniach psychometrycznych. Każde pytanie przechodzi fazę testów (tzw. pre-testing) na grupie kandydatów, zanim zostanie włączone do oficjalnego egzaminu.

Gdzie popełniamy błąd w Polsce?

W Polsce próbujemy zarządzać nowoczesnym produktem cyfrowym za pomocą tradycyjnych metod urzędniczych. Powoływanie komisji do oceny pytań to działanie reaktywne. To tak, jakbyśmy próbowali naprawiać błędy w oprogramowaniu, pisząc do autorów listy z prośbą o poprawkę.

System musi być proaktywny. Musi uniemożliwiać publikację pytania, które nie przeszło pełnej ścieżki walidacji: od merytorycznej, przez językową, aż po psychometryczną.

Rola Państwa vs Rola Operatora

Konieczne jest rozdzielenie tych dwóch funkcji:

• Państwo (Ministerstwo): Definiuje zakres wiedzy i umiejętności (tzw. sylabus), określa standardy jakości i bezpieczeństwa procesu oraz nadzoruje (audytuje) system.
• Operator Systemu: Odpowiada za techniczne wytworzenie treści, ich walidację, testowanie na grupach kontrolnych, analizę statystyczną wyników i utrzymanie infrastruktury IT.

W Niemczech operatorzy (TÜV i DEKRA) rywalizują o jakość, a jednocześnie współpracują w ramach wspólnej jednostki badawczej zajmującej się właśnie jakością pytań i ich wartością psychometryczną. Nadzór sprawuje Federalny Urząd ds. Ruchu Drogowego (Kraftfahrtbundesamt). Państwo definiuje i audytuje. Operator odpowiada za jakość.

Propozycja zmiany

Ministerstwo nie powinno tworzyć banku pytań. Ministerstwo powinno zdefiniować wymagania jakościowe i rozliczać z ich spełnienia.

Konkretnie oznacza to:

• określanie standardów jakości i mierników np. poziom jednoznaczności pytań, wskaźniki błędnych interpretacji
• wymaganie udokumentowanego systemu testowania i walidacji przed publikacją
• audyt efektów przez niezależny podmiot
• odpowiedzialność kontraktowa operatora egzekwowana przez państwo

Naturalnym kandydatem do roli operatora jest Polska Wytwórnia Papierów Wartościowych – jako podmiot już dziś odpowiedzialny za organizację i infrastrukturę egzaminu teoretycznego w WORD-ach, a także za obieg danych i druk dokumentów prawa jazdy. To nie jest propozycja nowego gracza – to rozszerzenie roli operatora, który już funkcjonuje w tym systemie.

Jeżeli nie zmienimy podejścia, będziemy dalej reagować na błędy zamiast im zapobiegać. A to oznacza powtarzające się kryzysy i spadek zaufania do egzaminu. To nie jest problem jednego pytania.

To jest problem tego, jak zarządzamy całym systemem.

Przykłady z Niemiec i Wielkiej Brytanii pokazują, że zmiana jest możliwa, sprawdzona i przynosi wymierne korzyści. Nie musimy wyważać otwartych drzwi. Musimy po prostu profesjonalnie zarządzać produktem, od którego zależy bezpieczeństwo nas wszystkich na drogach.

Rafał Matuszak, Stowarzyszenie KIEROWCA.PL