Deep Technology sp. z o.o. | ul. Nowy Świat 33/13 | 00-029 Warszawa | Polska

Walidacja modeli

Kiedy wykonane zostały modele scoringowe lub ratingowe, kolejnym etapem powinna być ich kalibracja oraz walidacja – zarówno ilościowa, jak i jakościowa. Dlaczego? Bo zanim wdrożysz model do swojej organizacji, należy sprawdzić, czy działa on poprawnie.

Gdy dysponujesz modelem uczenia maszynowego, ważne jest, by sprawdzić jego dokładne prognozy i zweryfikować, czy wyniki modelu mogą być wykorzystywane w faktycznych aplikacjach. Dzięki temu Twój model uczenia maszynowego jest wysokiej jakości i unikasz wystąpienia w nim błędów.

Dlaczego Twoja firma potrzebuje walidacji modeli?

Wyobraź sobie, że tworzysz produkt i wdrażasz go na rynek, jednak wcześniej nie sprawdzając, czy ktoś w ogóle chce go używać lub kupować. Bazując na samych założeniach, nie ma pewności, że Twój projekt się powiedzie. Startupy przed wprowadzeniem produktu na rynek, testują jego użyteczność. Wdrażają minimalną wersję produktu (MVP) i weryfikują, czy klienci są nim zainteresowani. Zwykle dopiero wtedy starają się o finansowanie i rozszerzają funkcjonalności produktu.
Co stałoby się w przeciwnym razie? Poświęciliby mnóstwo zasobów czasowych i finansowych na przygotowanie ostatecznej wersji produktu, a w efekcie mogłoby się okazać, że nikt z niej nie chce korzystać. Tak samo sytuacja wygląda z walidacją modeli scoringowych czy ratingowych. Ważne więc, by zweryfikować ich użyteczność.

Co sprawdzamy podczas walidacji modelu?

Przeprowadzając walidację modelu, opracowujemy szereg testów, między innymi statystycznych. Oceniamy poprawność klasyfikatora, opisując jego czułość i specyficzność za pomocą krzywej ROC. Wykonujemy test Kołmogorowa-Smirnova, którym porównujemy rozkłady zmiennych. Liczymy macierze błędu, oceniając jakość modelu, a także sprawdzamy kryteria dobroci dopasowania modelu. Szacujemy własności predykcyjne, by stwierdzić, czy modele dobrze odzwierciedlają poszczególne zagadnienia. A jest to tylko kilka przykładów działań, które podejmiemy w celu walidacji Twojego modelu.
Wszystko to składa się na rzeczową i profesjonalną walidację modelu, dzięki czemu zyskujesz pewność, że będzie on działał tak, jak powinien i nie narazi Twojej organizacji na błędy. Sprawdzimy, czy Twój model działa poprawnie w środowisku biznesowym.

analiza zgodności modelu z bieżącymi regulacjami (np. MSSF9)

walidacja ilościowa i jakościowa modelu

walidacja modeli ryzyka kredytowego (ze szczególnym uwzględnieniem parametrów PD - Probability of Default, LGD - Loss Given Default, CCF - Credit Conversion Factor)

walidacja modeli ryzyka kredytowego kapitałowych i rezerw według IFRS 9 (International Financial Reporting Standards)

walidacja modelu impairment (PD, LGD, CCF) według MSSF 9 (Międzynarodowy Standard Sprawozdawczości Finansowej)

walidacja modelu PD, PD Lifetime

walidacja modelu SICR (Significant Increase in Credit Risk) wraz z odniesieniem wyników do ECL (Expected Credit Loss)

monitoring modeli np. PD, PD Lifetime, FLI, LGD, SICR, ECL

weryfikowanie adekwatności założeń w procesie budowy modelu makroekonomicznego

testowanie modelu na próbie out-of-time/out-of-sample

test istotności parametrów strukturalnych

weryfikacja założenia heteroskedastyczności reszt i normalności rozkładu reszt

weryfikacja założeń budowy modelu

miary CAP i AR

miary ROC, AUROC

dywergencja (separacja Fishera)

testy KS (Kolmogorov–Smirnov)

miary entropijne: WoE, IV, CIER, MIE

macierz konfuzji, błąd klasyfikacji, czułość i specyficzność

ocena dokładności klasyfikacji: walidacja krzyżowa (leave-one-out, k-fold cross-validation)

statystyka t-Studenta, Fishera-Snedecora, rozszerzony test Dickeya-Fullera, test White’a

ocena stopnia dokładności oszacowanej funkcji za pomocą współczynnika determinacji R2

zastosowanie testu BREUSCHA -PAGANA na heteroskedastyczność

weryfikacja normalności rozkładu reszt za pomocá testu JAQUE-BERA

weryfikacja współliniowości zmiennych - Condition Index

analiza modelu w sytuacjach scenariuszowych

rekomendacje walidacji jakościowej i ilościowej