[MODEL] Hyperparameter tuning

[rojberr]

User story:
As a [role],
I want [an action or feature],
So that [a reason or benefit].

Acceptance Criteria:

• Criteria 1: Describe the first acceptance criterion here.
• Criteria 2: Describe the second acceptance criterion here.
• Criteria 3: Describe additional criteria as needed.

Definition of Done:

• All acceptance criteria are met.
• Code is reviewed and approved.
• Necessary tests are written and pass.
• Documentation is updated, if applicable.
• Feature is deployed to the [environment name].

Description:

[rojberr]

Z tego co kojarzę to te wszystkie parametry których użyliśmy nie są dostrojonę. Można by zrobić hyperparameter tuning żeby wybrać np. najlepszy learning rate, najlepszy learning rate scheduler, batch size, itd.

Sposobów na ulepszenie wyników jest kilka. Tutaj są dość dobrze opisane. Jako że używamy pre-trenowanej sieci, można by najpierw spróbować undersamplingu. Tak jak napisał @adam Mazur, na pewno jesteśmy w stanie ulepszyć wyniki przez tuning hyperparametrów – jednak myślę, że warto równocześnie szukać ulepszeń przez rozwiązania "koncepcyjne", takie jak załączyłem.

We could use ready-to-use libs
f.e. opttune

[rojberr]

osobny branch do maina z argumentParserem - nie odpalac runy pojedynczo 50 configow i puscic raz.