Czy metodyka "Więcej niż LEK" jest skuteczna? Analiza wyników 4. edycji "Kursu do LEK"

Niedługo miną dwa lata od niezwykle ważnej dla nas chwili. Wtedy to, po ponad 1,5 roku, nadszedł czas świętowania. Piknikując nad jeziorem, cieszyliśmy się z całym zespołem - absolwenci 1. edycji kursu właśnie napisali LEK! Pomimo atmosfery celebracji, radość mieszała się z niepewnością. Wiedzieliśmy, że w ciągu tygodnia poznamy odpowiedź na najważniejsze pytanie - czy eksperyment "Więcej niż LEK" się powiódł?

Historia projektu "Więcej niż LEK" jest historią starań o weryfikację skuteczności działań. Największym przełomem w tych działaniach było dla nas podjęcie współpracy z Centrum Egzaminów Medycznych w Łodzi, czyli organizatorem medycznych egzaminów końcowych. Zbierając numery PESEL kursantów, mogliśmy nareszcie kompletnie i wiarygodnie ocenić skuteczność naszego kursu.

Pierwsze pełne opracowanie otrzymaliśmy parę miesięcy po egzaminie, który odbył się w lutym 2019 r. Teraz, już z perspektywy czasu, chciałbym wspólnie z Wami spojrzeć raz jeszcze na wyniki i wyciągnąć z nich wnioski.

Na czym możemy się opierać?

Zanim przejdziemy do wniosków, musimy opowiedzieć trochę o tym, jakie dane wysyłamy do CEM i jakie otrzymujemy z powrotem.

Przede wszystkim rozróżniamy kursantów, którzy korzystają z kursu po raz 1. (N - czyli, nowi kursanci) oraz tych, którzy przedłużają swoje uczestnictwo (P - przedłużający). Obie grupy dzielimy na 5 kategorii aktywności:

1. Co najmniej 240h aktywności, 80% ukończonych lekcji i 1700 zrealizowanych pytań;

2. Co najmniej 240h aktywności i 80% ukończonych lekcji;

3. Co najmniej 240h aktywności i 1700 zrealizowanych pytań;

4. Nienależący do kategorii 1, 2 lub 3, ale posiadający co najmniej 100h aktywności, ukończone 20% lekcji i rozwiązanych 300 pytań;

5. Pozostali.

Czyli w skrócie - im wyższy numer, tym mniej aktywna grupa.

Z połączenia tych dwóch elementów, powstają nam oznaczenia grup - od G1N do G5N oraz od G1P do G5P. Czyli na przykład G3P, to osoby biorące udział w kursie co najmniej po raz 2 (P)., u których zanotowaliśmy co najmniej 240h aktywności i rozwiązanie co najmniej 1700 pytań (3).

Tak posegregowane grupy numerów PESEL szyfrujemy i wysyłamy do CEM. W odpowiedzi otrzymujemy kluczowe z naszego punktu widzenia statystyki: średnią, medianę i maksymalny wynik. Poznajemy też procentowy udział wyników powyżej 70% i 80% oraz poniżej 56%.

To wszystko jest trochę skomplikowane, ale w kolejnych sekcjach artykułu rozłożymy te wyniki na części pierwsze. 🙂 Żeby jednak od czegoś zacząć, spójrzmy na pełną tabelę wyników poszczególnych grup.

Lepszy kurs, lepsze wyniki!

Pierwszy wniosek, który nasuwa się po prześledzeniu historii naszych wyników to, że zmiany w treści i usprawnienia przynoszą rezultaty! Po 1. edycji nasi absolwenci zdali LEK o średnio 4,92 punktów procentowych (p.p.) lepiej niż reszta kraju. To aż 10 punktów! Nie spoczęliśmy jednak na laurach.

Kolejne edycje przynoszą zatem coraz lepsze rezultaty:

Ostatnie wyniki zaburzyły tendencję wzrostową, trzeba jednak wziąć poprawkę na wyjątkowo trudny i nieprzewidywalny egzamin. Poprzednie sesje egzaminacyjne przynosiły mniej więcej podobne rezultaty, jeżeli chodzi o średnie wyniki i zdawalność. Test z lutego 2019 r. wypadł tymczasem najgorzej w historii - nie zdało go aż 25% osób, podczas gdy zwykle było to około 12%!

Głównym powodem były pytania wykraczające poza zakres materiału, będący podstawą programową studiów. Pomimo tego, nasi kursanci uzyskali średnio ok. 13 punktów więcej niż reszta kraju.

Naszym zdaniem potwierdza to hipotezę, że kluczem do dobrego wyniku są solidne podstawy. Regularnie powtarzając materiał i odpowiednio systematyzując informacje, budujemy naszą "wieżę wiedzy" na solidnych fundamentach. O ile nie walczymy o 90%, do czego trzeba przygotowywać się latami, walka o zapamiętywanie najdrobniejszych szczegółów mija się z celem.

W trakcie obecnej edycji wymianie uległy cała Chirurgia, Medycyna ratunkowa oraz Hematologia. Nad kursem czuwa dwa razy więcej moderatorów, wszystkie pytania w bazie pytań zostały zedytowane i powiązane z odpowiednimi miejscami w prezentacjach.

Już niedługo przekonamy się, jak te zmiany wpłyną na wyniki naszych absolwentów!

Baza pytań to za mało

Z tym dylematem mierzy się niemal każdy - pocisnąć tylko bazę pytań, czy rzeczywiście siadać od nowa do materiału? Przecież może pytania wjadą jak na studiach…? Cóż, nie bez powodu nazywają nas "pokoleniem bazy pytań".

Tymczasem statystyki pokazują, że osoby, które spełniły kryteria czasu i ukończonych lekcji poradziły sobie na LEK-u lepiej niż Ci, którzy skupili się na bazie pytań, kosztem pracy z prezentacjami.

Co ciekawe, różnica ta jest dużo wyraźniejsza w grupie osób podchodzących do LEK-u po raz kolejny. Jakie wnioski można z tego wyciągnąć? Pierwszym, który nasuwa się na myśl, jest to, że… zapominamy! Na koniec 6. roku po wszystkich klinikach, jesteśmy w miarę obeznani z materiałem. Jest to zatem najlepszy moment na podejście do LEK-u!

Z czasem musimy wkładać coraz więcej wysiłku w utrzymywanie w pamięci wszystkich informacji. Podchodząc zatem do LEK-u po raz 2. czy 3., tym bardziej musimy skupić się na pracy z materiałem i cały czas odświeżać wiedzę.

Jednocześnie widać, że jeżeli myślimy poważnie o podniesieniu wyniku, to praca z lekcjami będzie nieodzowna i będzie procentować. Grupa pracująca głównie z bazą pytań uzyskała wyniki porównywalne do nowych kursantów. Prawdziwy przeskok wykonali natomiast Ci, którzy przedłużyli dostęp do kursu i dalej pracowali z prezentacjami. Średni wynik w grupach G2P i G1P przekroczył 70% przy średniej krajowej 62,97%!

Nauka cały rok?

Tym, co nas zdziwiło, był wyjątkowo niski odsetek zdających LEK wśród nowych kursantów. Spośród 646 nowych kursantów, do LEK-u podeszło jedynie 285, czyli 44,12%. Obecnie natomiast 900 kursantów to uczestnicy poprzednich edycji.

Jest to poszlaka, że coraz więcej osób zdaje sobie sprawę z nakładów czasowych potrzebnych do usystematyzowania wiedzy po studiach. Nie oszukujmy się - jeżeli w trakcie studiów sami nie zadbamy o efektywność nauki, to nasza wiedza jest bardzo fragmentaryczna, co utrudnia korzystanie z niej w codziennej praktyce.

Jeżeli zatem przygotowując się do LEK-u uzupełniamy jednocześnie braki i właściwie po raz pierwszy "układamy sobie wszystko w głowie", to zmagania z materiałem do LEK-u zajmą nam dużo więcej niż 3 miesiące. I właściwie jest to powszechne zjawisko - na Zachodzie kursy przygotowujące do egzaminów końcowych trwają zwykle między 6 a 12 miesięcy. Dlatego istnieje też kilka sposobów na Więcej niż LEK.

Cieszymy się, że tak wiele osób dostrzega wartość w tym, aby wykorzystać ostatnią prostą przed rozpoczęciem pracy i naprawdę solidnie ugruntować podstawy swojej wiedzy. Zwłaszcza, że nasz kurs zapewnia wszystko - materiały, metodykę, moderację. Potrzeba zatem tylko motywacji. :) No właśnie, motywacji…

Co jest prawdziwym wyzwaniem?

Jeden z naszych pierwszych wpisów zatytułowaliśmy Paradoks LEK-u. Paradoks, który dostrzec można dopiero po swoim pierwszym podejściu do LEK-u. Początkowo wydaje nam się, że naszym podstawowym wyzwaniem jest odpowiednia selekcja materiału. Na koniec wiemy, że jest nim zmotywowanie się do długiej i regularnej nauki.

Statystyki potwierdzają tę tezę. Ukończenie kursu skutkuje wynikiem wyższym średnio o 6-7 punktów procentowych niż średnia krajowa. Ale trzeba go skończyć. Wciąż ok. 50% kursantów nie realizuje minimum 2 podstawowych kryteriów ukończenia. Jak wiemy, część uczy się przez 2 edycje, ale z pewnością wiele osób ma problem z realizacją kursu.

Jednocześnie obcinanie materiału nie wchodzi w grę - musimy trzymać się zakresu podanego przez CEM oraz zagadnień poruszanych w poprzednich latach. Poza tym, praca lekarza to więcej niż LEK. :) W dziedzinie, w której tak bardzo liczy się jakość, nie ma miejsca na skróty.

Dlatego podjęliśmy decyzję, że pozytywny wpływ kursu na motywację musi być bardziej proaktywny. Nie możemy tylko czekać na pytania kursantów, wielu z nich nawet do nas nie pisze. Możemy jednak oprzeć się na automatyzacji i analizie danych. Tak powstał pomysł na projekt IWAN, czyli Inteligentnego Wirtualnego Asystenta Nauki, który zawita na platformie już w ramach kolejnej edycji!

To właśnie IWAN będzie proaktywnie i regularnie dostarczać uczestnikom naszych kursów informacji zwrotnej o efektywności ich nauki oraz będzie dbał o pozytywną motywację do dalszej pracy.

Od czego zależy wynik LEK-u?

Pytanie, które wraca do nas jak bumerang. Liczyliśmy na to, że współpraca z CEM pozwoli nam odpowiedzieć na to pytanie. Wystąpiliśmy z prośbą o udostępnienie wykresów punktowych oraz wyznaczenie korelacji dla grup, które podzieliliśmy względem podejmowanych aktywności na kursie. Inaczej mówiąc, chcieliśmy sprawdzić, który element ma największy wpływ na wynik na egzaminie - prezentacje, pytania zamknięte czy pytania otwarte.

Niestety, doszliśmy do tego, że uzyskanie wykresu punktowego wyników mogłoby doprowadzić do odkrycia indywidualnych wyników kursantów, co byłoby złamaniem danej obietnicy. Same korelacje natomiast, bez znajomości przebiegu zmienności danych, nie mogły powiedzieć nam zbyt wiele.

Dlatego zmieniliśmy podejście. Stwierdziliśmy, że tak naprawdę mamy wszelkie dane do odpowiedzenia na to pytanie. W końcu wielu naszych kursantów rozwiązuje na platformie Wstępny i Końcowy LEK w ramach kursu! Jesteśmy zatem w stanie ustalić nie tylko, które elementy kursu są najważniejsze. Możemy wręcz stwierdzić, które zagadnienia są dla wyniku krytyczne!

To jest drugim najważniejszym zadaniem projektu IWAN. Jego celem nie jest tylko regularne dostarczanie kursantom informacji zwrotnej o efektywności ich pracy. W ramach niego chcemy w końcu poznać ostateczną odpowiedź na, jakże ważne, pytanie - od czego zależy wynik LEK-u?

Rozumieć więcej, uczyć skuteczniej

Po 1. edycji dotarło do nas, jak skomplikowanym zadaniem będzie doskonalenie kursu. Podstawowa trudność wynika z faktu, że nasze wysiłki są weryfikowane tylko 2 razy w roku. Praca wszystkich zespołów, setki godzin wertowania źródeł, zmiany na platformie - te wszystkie działania podejmujemy już od ponad 2 lat wierząc, że przyniosą upragniony rezultat.

Póki co, wszystko wskazuje na to, że obraliśmy właściwy kierunek. W ramach obecnej edycji na platformie zawitały nowe lekcje z Chirurgii, Medycyny ratunkowej i Hematologii. Pojawiła się nowa funkcja - Przypisy, które pozwoliły między innymi osadzać kontekstowo grafiki, wytłumaczenia czy rozwinięcia skrótów. Ale wciąż, to dopiero najbliższy LEK zweryfikuje wpływ tych zmian.

Dlatego tak wiele energii wkładamy teraz we wszelkie narzędzia pozwalające nam lepiej rozumieć proces nauki i korzystania z platformy. Im więcej wiemy, tym skuteczniejsze kursy możemy tworzyć. A im skuteczniejsze nasze kursy, tym lepsze Wasze wyniki, silniejsze poczucie kompetencji zawodowych i płynniejsze wejście w samodzielną praktykę. A to jest dla nas najważniejsze. :)

Wszystkim uczącym się obecnie z nami życzymy powodzenia na ostatniej prostej i wiele sił!

Do zobaczenia na kursie!