Deep Technology sp. z o.o. |ul. Nowy Świat 33/13 | 00-029 Warszawa | Polska

Walidacja modeli

Kiedy wykonane zostały modele scoringowe lub ratingowe, kolejnym etapem powinna być ich kalibracja oraz walidacja – zarówno ilościowa, jak i jakościowa. Dlaczego? Bo zanim wdrożysz model do swojej organizacji, należy sprawdzić, czy działa on poprawnie.

Gdy dysponujesz modelem uczenia maszynowego, ważne jest, by sprawdzić jego dokładne prognozy i zweryfikować, czy wyniki modelu mogą być wykorzystywane w faktycznych aplikacjach. Dzięki temu Twój model uczenia maszynowego jest wysokiej jakości i unikasz wystąpienia w nim błędów.

Dlaczego Twoja firma potrzebuje walidacji modeli?

Wyobraź sobie, że tworzysz produkt i wdrażasz go na rynek, jednak wcześniej nie sprawdzając, czy ktoś w ogóle chce go używać lub kupować. Bazując na samych założeniach, nie ma pewności, że Twój projekt się powiedzie. Startupy przed wprowadzeniem produktu na rynek, testują jego użyteczność. Wdrażają minimalną wersję produktu (MVP) i weryfikują, czy klienci są nim zainteresowani. Zwykle dopiero wtedy starają się o finansowanie i rozszerzają funkcjonalności produktu.
Co stałoby się w przeciwnym razie? Poświęciliby mnóstwo zasobów czasowych i finansowych na przygotowanie ostatecznej wersji produktu, a w efekcie mogłoby się okazać, że nikt z niej nie chce korzystać. Tak samo sytuacja wygląda z walidacją modeli scoringowych czy ratingowych. Ważne więc, by zweryfikować ich użyteczność.

Co sprawdzamy podczas walidacji modelu?

Przeprowadzając walidację modelu, opracowujemy szereg testów, między innymi statystycznych. Oceniamy poprawność klasyfikatora, opisując jego czułość i specyficzność za pomocą krzywej ROC. Wykonujemy test Kołmogorowa-Smirnova, którym porównujemy rozkłady zmiennych. Liczymy macierze błędu, oceniając jakość modelu, a także sprawdzamy kryteria dobroci dopasowania modelu. Szacujemy własności predykcyjne, by stwierdzić, czy modele dobrze odzwierciedlają poszczególne zagadnienia. A jest to tylko kilka przykładów działań, które podejmiemy w celu walidacji Twojego modelu.
Wszystko to składa się na rzeczową i profesjonalną walidację modelu, dzięki czemu zyskujesz pewność, że będzie on działał tak, jak powinien i nie narazi Twojej organizacji na błędy. Sprawdzimy, czy Twój model działa poprawnie w środowisku biznesowym.

kryteria dobroci dopasowania modelu

wychwytywanie złej separacji

metody oceniające zdolność dyskryminacyjną

macierz konfuzji, błąd klasyfikacji, czułość i specyficzność

ocena dokładności klasyfikacji: walidacja krzyżowa (leave-one-out, k-fold cross-validation)

miary CAP i AR

miary ROC, AUROC

dywergencja (separacja Fishera)

testy KS (Kolmogorov–Smirnov)

miary entropijne: WoE, IV, CIER, MIE