Аnalizy testu A/B przeprowadzonego na danych z gry Cookie Cats
Test z: Wersja gry gate_30 wykazuje wyższe wskaźniki retencji użytkowników po 7 dniach (retention_7) niż wersja gate_40. P-wartość wynosi 0.001554, co jest mniejsze niż poziom istotności 0.05. Przedziały ufności dla obu wersji nie pokrywają się, co wskazuje na istotną różnicę w retencji pomiędzy grupami. Test Chi-kwadrat: P-wartość z testu wynosi 0.0016, również mniejsza od 0.05, co sugeruje istotny wpływ wersji gry na retencję użytkowników po 7 dniach. Statystyka χ² wynosi 9.96, a stopnie swobody (dof) wynoszą 1. Oczekiwane częstotliwości są zgodne z liczbą obserwacji w danych. Wnioski końcowe:
Oba testy potwierdzają, że wersja gry ma wpływ na retencję użytkowników po 7 dniach. Wyniki wskazują, że przesunięcie bram z poziomu 30 na 40 może negatywnie wpływać na utrzymanie graczy. Sugeruje się dalszą analizę lub przeprowadzenie dodatkowych testów, aby lepiej zrozumieć mechanizm wpływu zmian w grze na zachowanie użytkowników.