Klencki: Wiarygodny sprawdzian musi być losowy

„Rosnąca liczba podejść wiąże się z jeszcze gorszą zdawalnością. Ponieważ nie ma w tym względzie ograniczeń, są tacy, którzy zabiegają o dyplom specjalisty po kilkanaście razy. Liczba niezadowolonych jest adekwatna zwłaszcza do liczby permanentnych poprawkowiczów”. Z prof. Mariuszem Klenckim, dyrektorem Centrum Egzaminów Medycznych w Łodzi, rozmawiają Ryszard Golański i Lucyna Krysiak.

Panie Profesorze, dlaczego tak wielu lekarzy nie zdaje Państwowego Egzaminu Specjalizacyjnego? Czy są źle przygotowani, czy może coś jest nie tak z pytaniami testowymi?

Pytanie dotyczy statystyk ogólnych, które podają liczbę zdających w danej specjalności i odsetka osób, które egzaminu nie zdały. Jeśli przyjrzymy się bliżej tym statystykom i dokonamy głębszej analizy danych, okaże się, że odsetek zdających jest od lat na tym samym poziomie i nic niepokojącego się nie dzieje.

Proszę zwrócić uwagę, że wśród tych, którzy nie zaliczyli PES, przeważają lekarze podchodzący do tego egzaminu powtórnie – po raz trzeci, czwarty, a nawet piąty i szósty. Przepisy od 2008 r. dopuszczają zaliczanie egzaminu specjalizacyjnego bez limitu czasowego.

Grupa poprawkowiczów wpływa więc na ogólne wyniki, których nie powinno się interpretować wprost. Zdawalność PES w grupie poprawiających się jest wyraźnie gorsza niż wśród lekarzy przystępujących do egzaminu po raz pierwszy.

Dodatkowo, rosnąca liczba podejść wiąże się z jeszcze gorszą zdawalnością. Nie skupiajmy się więc na ogólnych wynikach, bo przekłamują rzeczywistość i prowadzą do fałszywych wniosków, że szwankuje kształcenie lub że są źle konstruowane pytania testowe.

Jednak informacja, że w sesji jesienniej na 67 zdających PES anestezjologów test zaliczyło tylko 6, robi wrażenie i siłą rzeczy skłania do zadawania takich pytań.

Dlatego na wniosek konsultanta krajowego w dziedzinie anestezjologii powołałem komisję złożoną z lekarzy anestezjologów wchodzących w skład komisji egzaminacyjnej, ale tych, którzy nie brali udziału w przygotowaniu pytań testowych. Osoby te nie miały więc nic wspólnego z konstruowaniem testu.

Zadaniem komisji była szczegółowa analiza każdego pytania pod kątem, czy jest ono zgodne z programem specjalizacji, czy odpowiedź jest jednoznaczna i nie kryje podtekstów. W myśl zasady errare humanum est chcieliśmy sprawdzić, czy w testach nie popełniono błędów. Okazało się, że nie.

Najciekawsza była jednak odpowiedź – jak pytanie testowe ma się do praktyki anestezjologa, jak wiedza egzekwowana w tych pytaniach przydaje się w codziennej pracy. Okazało się, że test jest blisko praktyki, komisja uznała, że 83 proc. pytań spełniało to kryterium. Moim zdaniem to bardzo wysoki wskaźnik, a jednocześnie pozostawia przestrzeń dla wiedzy bardziej teoretycznej, którą lekarz specjalista zawsze powinien mieć w tle.

Zakładając, że każdy po uzyskaniu dyplomu specjalisty staje się nauczycielem następnych pokoleń, musi mieć szeroką wiedzę, również z fizjologii. Wracając do wyników PES z anestezjologii w jesiennej sesji, należy podkreślić, że choć 91 proc. osób nie zdało egzaminu, wydaliśmy 66 dyplomów specjalistów w tej dziedzinie.

Stało się tak, ponieważ ponad 60 lekarzy zaliczyło specjalizacyjny egzamin europejski, w związku z czym nie musieli podchodzić do testowej części PES w Polsce, która odbywała się później. Jeszcze raz podkreślam, na słaby wynik PES w Polsce rzutuje liczne grono poprawkowiczów.

Ci, którzy zdali egzamin europejski, nie podchodzą do niego w Polsce. Ci, którzy odpadli, próbują go zaliczyć w systemie krajowym. Europejski system ich zweryfikował negatywnie, liczyli więc, że w rodzimym będzie łatwiej. Niestety w ogromnej większości nie zdali ani tu, ani tam.

Na forum internetowym, które rozpętało się na temat pytań testowych wśród lekarzy zdających PES z anestezjologii w jesiennej sesji, stawiano zarzuty, że w testach nie było żadnego pytania dotyczącego leków zwiotczających, za to było 6 pytań na temat prawa medycznego…

To znów uogólnienie. Pytania z prawa medycznego dotyczyły zasad przyjęcia pacjenta na intensywną terapię, a więc nie chodziło o zacytowanie paragrafów, ale o zastosowanie tego prawa w praktyce. To częsty dylemat dla anestezjologa – czy przyjąć tego, czy innego pacjenta.

Anestezjolodzy mają to jasno określone w przepisach i należałoby je znać. Docierają do mnie także zarzuty, że pytania były konstruowane na podstawie artykułów z pism medycznych. Otóż oświadczam, że spośród 120 pytań ani jedno nie pochodziło z doniesień z prasy medycznej. Technicznie nie byłoby to możliwe do wykonania.

Cykl pracy nad testem jest zbyt długi, by śledzić nowinki prasowe i włączać je do pytań. Generalnie pytania testowe pochodziły z dwóch podręczników, które są rekomendowane jako źródła wiedzy dla przystępujących do PES z anestezjologii.

Zarzut dotyczący formułowania pytań w oparciu o najnowsze artykuły fachowe jest zresztą chybiony w odniesieniu do wszystkich specjalności. Jesteśmy dość konserwatywni w przygotowaniach testu i nawet najnowsze wydania podręczników stają się podstawą dla egzaminu dopiero po kilku miesiącach, gdy jest pewność, że były dostępne.

A jeśli chodzi o zdawalność PES w innych specjalnościach? Dotąd średnia wynosiła około 25 proc., jesienią przekroczyła 27 proc., a więc wykazuje tendencję wzrostową. Czy są powody do obaw?

Sytuacja jest zróżnicowana. Tam jednak, gdzie wskaźniki niezdawalności są najwyższe, znów wynika to z wysokiego odsetka osób, które wielokrotnie przystępują do egzaminu poprawkowego. Ponieważ nie ma w tym względzie ograniczeń, są tacy, którzy zabiegają o dyplom specjalisty po kilkanaście razy.

Prawdopodobieństwo zdania PES jest u nich dużo niższe niż u lekarzy, którzy przystępują do PES bezpośrednio po szkoleniu specjalizacyjnym. W niektórych specjalnościach jest tak wielu powtarzających egzamin, że zaczynają przeważać nad przystępującymi po raz pierwszy.

Jeśli więc popatrzymy na wyniki zdających po raz pierwszy, są one stabilne. PES oblało od kilku do kilkunastu procent w różnych specjalnościach. Najwięcej zdających jest z interny, w sesji jesiennej do egzaminu podeszły 243 osoby i nie zdało 75, czyli ponad 30 proc., co można uznać za dość liczną grupę.

Ale pierwszorazowych zdających było 178 osób i spośród nich nie zdało 21 osób, a więc niespełna 12 proc. To pokazuje, że mamy do czynienia ze zjawiskiem kumulacji osób, które wielokrotnie powtarzają egzaminy specjalizacyjne.

Ponieważ PES budzi ogromne emocje nie tylko wśród lekarzy, ale czasem i pacjentów, by ich uspokoić Centrum Egzaminów Medycznych zmieni sposób informowania o wynikach tego egzaminu. Choć to dla nas utrudnienie, będziemy pokazywać je z rozbiciem na zdających pierwszy raz i podchodzących wielokrotnie.

Lekarze przygotowujący się do PES chcieliby, wzorem innych krajów, aby stworzono pulę pytań, spośród których wyłoniono by pytania testowe. Czy to pozwoliłoby im lepiej przygotować się do egzaminu?

Zarówno wokół puli pytań, jak i ich upublicznienia krążą mity, które nie mają pokrycia w rzeczywistości. Nie znam takiego kraju, gdzie istnieje pula, z której wybiera się pytania testowe przy egzaminach specjalizacyjnych. Polska przez kilka lat upubliczniała pytania z LEP-u i LDEP-u, co swego czasu zdumiało goszczącego w CEM przedstawiciela rządu Tajlandii, ale to nie są pytania testowe na egzaminy specjalizacyjne.

Te mity biorą się stąd, że w wielu krajach funkcjonują duże pule pytań edukacyjnych służących przygotowaniu do egzaminu w okresie szkolenia. Ale to nie są pytania, które później są na egzaminie. Istotą egzaminu specjalizacyjnego jest sprawdzenie, czy lekarz opanował wymagany poziom wiedzy niezbędnej dla danej specjalności.

Test pozwala zrobić to sprawnie, ale by na jego podstawie wnioskować o całości tej wiedzy, musi się on opierać na sprawdzaniu jej w losowo wybranych obszarach. Zdający nie może wiedzieć, w których 120 miejscach zostanie zapytany. Jeśli będzie wiedział, egzamin stanie się sprawdzianem, czy przygotował się do odpowiedzi, a nie czy zgłębił materiał obowiązujący do egzaminu.

Jednak lekarze przekonują, że jeśli w puli znajdzie się np. 1200 pytań obejmujących całą specjalność, to opracowując je, jednocześnie uczą się i przygotowują do pełnienia roli specjalisty…

Nie zgadzam się z tymi argumentami. Dla lekarza zapamiętanie odpowiedzi nawet na 1200 pytań nie jest problemem. Co nie oznacza, że staje się wtedy kompetentnym specjalistą. Wracamy więc do założenia, że wiarygodny sprawdzian musi być losowy z punktu widzenia zdającego.

Osoby, które nie zaliczyły egzaminu specjalizacyjnego, dzielą się na tych, którzy przyczyn niepowodzenia upatrują w sobie i tych, którzy szukają winnych na zewnątrz: w pytaniach testowych, organizacji egzaminu itp.

Ci pierwsi zwykle wstydzą się swojego niepowodzenia i mają większą motywację do nauki. Ci drudzy niestety, wprost przeciwnie – chętniej rzucają oskarżenia w kierunku konsultantów krajowych. Jednak podstawą sukcesu na PES jest właściwe przygotowanie się do egzaminu.

Jednak to nie są gorzkie żale pojedynczych osób, głos w tej sprawie zabrało także Porozumienie Rezydentów…

Liczba niezadowolonych jest adekwatna do liczby niezdających, zwłaszcza permanentnych poprawkowiczów. Osób, które nie zaliczyły testu co najmniej dwukrotnie, jest ponad 2 proc. Wydaje się, że to niewiele, jeśli jednak te procenty pomnożymy przez liczbę tych, którzy od kilku lat podchodzą do PES i nie zaliczają, to grono rośnie.

To może nie każdy ma predyspozycje, aby zostać specjalistą? Czy PES powinno się zdawać w nieskończoność, jaka jest gwarancja, że jeśli ktoś oblał egzamin kilkanaście razy, to zaliczy go w następnym podejściu?

Rozmawiałem na ten temat w Ministerstwie Zdrowia i nie jestem odosobniony w przekonaniu, że sprawa wymaga rozwiązań. Problem jednak polega na tym, że w Polsce żadna placówka medyczna nie chce zatrudniać lekarza bez specjalizacji.

Kiedyś byli lekarze tzw. ogólni, którzy nigdy nie robili specjalizacji i dobrze funkcjonowali w systemie. Obecnie nie ma takiej możliwości. Należałoby więc raczej rozważyć możliwość organizowania doszkalania w postaci kursów dla osób, którym wielokrotnie nie powiodło się na egzaminie specjalizacyjnym.

Istnieją obiektywne mierniki trudności pytań, czy korzysta się z nich przy konstruowaniu testów na egzaminy specjalizacyjne?

Zasadą egzaminów państwowych jest, że są one przeprowadzane przez lekarzy specjalistów dla lekarzy, którzy mają zostać specjalistami, a ich państwowość polega tylko na nadaniu im urzędowego charakteru. Ani minister zdrowia, ani dyrektor CEM nie wpływa na stopień trudności pytań. Są to kompetencje krajowych konsultantów w poszczególnych dziedzinach.

Dysponujemy szczegółową analizą statystyczną każdego z pytań testowych, która pozwala na przykład na zlokalizowanie pytań podejrzanych o błąd merytoryczny. Gdy na dane pytanie osoby, które zdały test najlepiej, odpowiadają gorzej od tych, którzy uzyskali wyniki najsłabsze, jest to podejrzane, choć oczywiście nie rozstrzyga o wadliwości pytania. Jednym słowem, każde pytanie możemy pod tym kątem zanalizować po egzaminie.

Nie jesteśmy jednak w stanie robić walidacji pytań przed egzaminem. Nie tylko z powodu kosztów, ale dlatego że, aby miała ona sens, musiałaby być poufna. Bez zachowania poufności pytań egzamin zamienia się w sprawdzanie znajomości puli zadań testowych.

Poza tym ocena trudności pytań jest sprawą względną: wskaźnik trudności jest bowiem nie tylko pochodną treści samego pytania, ale wynika także z faktu, komu to pytanie zadajemy. Dlatego tak ważna jest rola konsultantów krajowych, którzy muszą poziom trudności pytań kwalifikowanych do testu dostosować do poziomu wiedzy oczekiwanej od specjalisty w danej dziedzinie.

Mamy też funkcjonujący system dodatkowej weryfikacji pytań z udziałem samych zdających. Gdy stwierdzą na egzaminie, że konkretne pytanie budzi wątpliwości co do merytorycznej poprawności lub zgodności z programem specjalizacji, mogą złożyć zastrzeżenie do tego pytania.

Jeśli Komisja Egzaminacyjna uzna takie zastrzeżenie za zasadne, pytanie jest anulowane i nie wpływa na wynik egzaminu. Uważam, że ten dodatkowy mechanizm podnosi rzetelność testu.

Czy w krajach Unii Europejskiej istnieje jeden spójny system egzaminów specjalizacyjnych, z którego można korzystać?

Każdy kraj ma własny system zdawania egzaminów specjalizacyjnych, a nasz rodzimy na tym tle wypada całkiem dobrze. Swego czasu zwrócili się do CEM Belgowie, którzy chcąc poprawić sytuację zdrowotną w swoim kraju, zrobili przegląd europejskich systemów zdawania egzaminów specjalizacyjnych i zainteresowali się polskim.

Efektem było zaproszenie na konferencję w Brukseli, by tam zaprezentować jego założenia. Także Brytyjczycy podpatrywali, jak organizujemy egzaminy. Są kraje, gdzie system specjalizowania się oparto na relacji uczeń-mistrz, od którego decyzji zależy, czy lekarz jest gotowy zostać specjalistą w danej dziedzinie.

W polskich realiach, gdzie jest kierownik specjalizacji i specjalizant, to raczej nierealne. Jednym słowem – w Europie panuje swoboda w organizowaniu i zdobywaniu specjalizacji, co często przysparza kłopotów, ponieważ pod tą samą nazwą specjalności może kryć się coś innego.

Zresztą każdy egzamin specjalizacyjny powinien być zgodny z programem szkolenia, jeśli w Europie są niezgodności w tych obszarach, to trudno robić wspólny egzamin. Są egzaminy specjalizacyjne organizowane przez europejskie towarzystwa naukowe, np. urologia, radiologia, ale to dotyczy zaledwie kilku specjalności.

Źródło: „Gazeta Lekarska” nr 2/2016