Expérience concernant le quiz

[Bot 2.0]

Koin,

Suite à différentes discussions avec des joueurs et au sein du Staff, nous nous sommes dit qu'il fallait étudier les logs du Hub pour identifier le comportement des nouveaux par rapport au quiz et voir ce qu'on pouvait améliorer. @Cyber_Jer a bien voulu se lancer dans cette opération donc un grand merci à lui car grâce à son travail nous avons énormément de stats très intéressantes.

A noter que le peu de nouveaux joueurs (et encore c'est bien pire à d'autres endroits) est aussi lié au Minecraft multijoueur qui survie difficilement en dehors des serveurs pvp/mini-jeux.

Mais cela ne nous empêche pas d'essayer certaines choses notamment avec notre quiz d'entrée qui vous l'imaginez bien nous fait "perdre" un certain nombre de nouveaux joueurs. En aucun cas il est question de supprimer le quiz car il permet un grand tri parmi les trolls et cela fait partie de l'identité de Freebuild.fr.

Ce que l'on va essayer de modifier à partir du 1er décembre et jusqu'au 1er janvier c'est le temps d'attente lorsqu'on échoue à une réponse au quiz. Actuellement le temps d'attente est de 15min. Sur ce mois de décembre nous allons le retirer totalement pour voir s'il y a une réelle différence dans les stats entre les nouvelles connexions et ceux qui réussissent le quiz. Cette expérience durera peut-être plus longtemps car avec la 1.18 qui arrive et qui ne sera pas sur le serveur immédiatement cela pourrait fausser les stats puisqu'à chaque sortie de version il y a un peu moins de joueurs tant qu'on est sur la version précédente.

Vous êtes maintenant au courant et pour imager tout cela voici la stat la plus parlante : le nombre de quiz terminés et non terminés jour par jour en octobre 2021 : 

En haut des barres ce sont le nombre de nouvelle connexion au Hub sur la journée

Suite à cette expérience nous verrons si la couleur de ces barres s'inversent de manière conséquente ou insignifiante. Le but de cette expérience est de savoir si le délai lorsqu'on échoue au quiz incite les joueurs à partir plus qu'à rester ou si cela ne change rien car dès leur premier échec ils se déconnectent par exemple. Nous reviendrons vers vous quand on aura analysé tout cela.

[Cyber_Jer]

Voici les résultats d'une analyse faite sur 6 mois sur les passages du quiz grâce aux logs du Hub.

Rappel de quelques informations :

Révélation

Ce qu'on appelle ici "les visiteurs" sont les individus qui se connectent pour la première fois au serveur et n'ont pas passé le quiz.
Les personnes qui ont terminé le quiz avec succès deviennent "joueurs".

Le quiz, qui se déroule au Hub du serveur, comporte 8 questions. La dernière question nécessite un code que l'on obtient grâce à une commande que vous connaissez bien.

Tout ce qui se passe au Hub est logué quotidiennement dans un fichier texte (messages d'erreurs des plug-ins, conversations, heure de connexion des visiteurs et joueurs, départs de quiz, erreurs au quiz, déconnexions, nombre de visiteurs connectés...).
A travers ce nuage d'informations on peut donc filtrer des renseignements plus précis (nombre de visiteurs quotidiens, nombre de quiz lancés, nombre de réussites au quiz, nombre d'erreurs...).

Jusqu'au mois de novembre une erreur au quiz impliquait un temps d'attente de 15 min avant de pouvoir le relancer. Depuis décembre 2021 ce temps d'attente a été supprimé ce qui permet de relancer le quiz immédiatement.

Sur les graphiques qui vont suivre les  périodes de week-end sont indiquées par des blocs de couleur légèrement plus intense.

1 - Succès au quiz

Révélation

Il y a quelques mois certains joueurs se sont demandé dans quel mesure le quiz auquel les visiteurs étaient confronté ne limitait pas l'arrivée de nouveaux joueurs sur le serveur.
Le staff a décidé de désactiver la période d'attente après un échec au quiz à partir du mois de décembre.
Nous comparons ici les résultats au quiz en septembre (attente de 15 min après un échec au quiz) et janvier (aucune attente entre les échecs ).





En septembre le taux de réussite moyen était de 44 %, en janvier il a été de 81 %





On constate que ces moyennes sont assez représentatives même jour par jour.



Sur 6 mois on voit bien l'effet de l'aménagement du quiz : 50% de réussite en août, 44 à 42% de septembre à novembre, le taux de réussite au quiz est quasiment multiplié par deux dès la modification du quiz : 85% de réussite en décembre, 81% de réussite en janvier.

2 - Visiteurs et quiz lancés

Révélation

Est-ce que tout les visiteurs lancent le quiz ? C'est difficile à estimer avec précision.
On peut comparer le nombre de visiteurs quotidien et le nombre de quiz lancés chaque journée (sur ces graphiques les courbes bleues et brunes, qui sont souvent assez proches).





Jusqu'en novembre on remarque que le nombre de quiz lancés est souvent supérieur au nombre de visiteurs quotidien, ce qui s'explique par le fait que les visiteurs ayant échoué revenaient souvent le lendemain, le surlendemain ou la semaine suivante pour essayer à nouveau.

En janvier les visiteurs ne rencontrant plus la contrainte des 15 min d'attente donc ils lancent le quiz autant de fois qu'ils le souhaitent. Il y a eu sur cette période 605 visiteurs et 567 quiz lancés soit un écart de 38 qui correspondrait à 6,3% de visiteurs qui quittent le hub sans lancer le quiz (probablement même moins).







Le nombre de réussites quotidiennes au quiz subit des variations partiellement aléatoire mais qui sont aussi liée au nombre de visiteurs quotidiens. Or comme nous le verrons plus loin les périodes de week-end influencent sensiblement la survenue de visiteurs : plus de visiteurs le week-end égale plus de quiz lancé et réussis le week-end.

3 - Nombre d'erreur par visiteurs

Révélation

Les logs du hub permettent de compter le nombre d'erreurs commises par chaque visiteur.
On voit ainsi de grande différences entre septembre (avec le cooldown de 15 min) et janvier (sans cooldown, le quiz pouvant être lancé à volonté).



En septembre les résultats sont très contrastés.
Les visiteurs réussissant le quiz ont fait le plus souvent aucune ou 1 erreur, certain réussissant le jour même, d'autres les jours suivants.
Les visiteurs qui ne terminent jamais le quiz ont fait globalement 1 ou 2 erreurs, beaucoup d'entre eux revenant plusieurs jours d'affilée.
En gris sur le graphique un petit nombre de visiteurs qui ont lancés le quiz mais ont quitté le serveur sans répondre à aucune question.



En janvier les résultats sont plus étalés.
Un quart des visiteurs réussissent le quiz du premier coup.
Plus de la moitié des visiteurs passent le quiz en faisant entre 1 et 3 erreurs.
Une petite fraction (10%) terminent en faisant beaucoup plus d'erreurs (autour de 9 qui peut aller jusqu'à 25 ).

Pour les visiteurs abandonnant le quiz le nombre d'erreurs se concentre autour de 1 à 2 erreurs un peu comme en septembre mais il y a moins de tentatives du jour au lendemain.



Sur le total d'erreurs recensées en janvier le plus gros volume vient des 12 % de visiteurs qui font plus de 9 erreurs pendant la journée.

4 - Nature des erreurs au quiz

Révélation

Les logs signalent à quelles questions les visiteurs font une erreur.



En septembre les 3 premières questions étaient celles qui généraient le plus d'erreurs, du fait que beaucoup de visiteurs abandonnaient le quiz assez tôt.



En janvier les erreurs sont plus réparties sur toutes les questions, la dernière question, celle qui implique un code, génère maintenant presque 25% des erreurs.

5 - Affluence des visiteurs et des joueurs

Révélation

Les statistiques fournies par les sites de référencement des serveurs Minecraft donnent des informations sur le pic de connexion quotidien des serveurs. En général le maximum de joueurs connectés simultanément se situe vers 18h (et c'est une constante pour beaucoup de serveurs, pas seulement Freebuild.fr ).



En cumulant ces informations sur le mois on a un aperçu partiel de la fréquentation des joueurs sur le serveur.



En septembre, alors que l'on sort tout juste de la période des vacances on voit que le pic de connexion diminue progressivement au fil du mois alors que les joueurs reprennent progressivement le cours d'une vie scolaire ou professionnelle.

En janvier le nombre maximum de joueurs connectés simultanément est assez stable, proche de 21 et il en va ainsi pour la plupart des périodes examinées qui sont hors de périodes de vacances, les week-end affectant peu ce nombre.

Pour ce qui est de l'affluence des visiteurs, sur les 6 mois étudiés, les week-end ont par contre un impact assez visible, identifié par ces motifs en dent de scie dont les sommets sont le samedi et le dimanche.



Sur 6 mois le nombre de visiteurs est toujours supérieur le week-end, dans une moindre mesure pendant les vacances d'été ou les gens ont sans doute plus de disponibilité quel que soit le jour.


Le nombre de joueurs connecté quotidiennement vers 18h est assez stable d'un mois à l'autre, entre 25 et 21. Avec l'arrivée de la Maj 1.18 et de l'aménagement du quiz ont peut présumer que ce chiffre augmentera doucement dans les prochains mois.

  

Alors que les week-ends représentent entre un quart et un tiers d'un mois, environ 41% des visiteurs arrivent le week-end,



Sur les 6 mois d'août à janvier le mardi semble être le jour où il y a le moins de visiteurs et le dimanche celui où il y'en a le plus.
Pour le nombre de joueurs sur le serveur en moyenne le vendredi serait (de très peu) le jour où il y a le moins de joueurs et le dimanche celui où il y en a le plus.

6 – Etude des comportements

Révélation

A travers tous ces chiffres, en étudiant les logs en détail on peut être tenté de définir des ensembles de comportement même si cela reste très schématique.

Les visiteurs studieux
Comme on la vu il y a une proportion de visiteurs qui réussissent le quiz du premier coup (25%). On voit qu'ils prennent le temps de lire les informations fournie à chaque question (environ 30 secondes) et tapent la commande requise au bon moment. Bravo à eux.

Les visiteurs studieux mais inattentifs
Ils ne font aucune erreur aux 7 premières questions mais se retrouvent bloqué à la huitième. Ils repassent le quiz 2 ou 3 fois, s'en remettant au hasard pour finir le quiz.

Les binômes
Un petit groupe de visiteurs viennent par deux. On constate qu'ils se connectent en même temps, lancent le quiz en même temps, s'aident mutuellement et réussissent (le plus souvent sans trop de difficultés) ou échouent au quiz ensemble.

L'ami secret
Un petit groupe de visiteurs semble rejoindre un joueur déjà présent sur le serveur. Ceux là ne font pas ou peu d'erreur au quiz, passent très peu de temps à chaque question (moins de 10 secondes) et passent la dernière question sans taper la commande indispensable (que vous connaissez bien), clairement aidé par quelqu'un.

Les try-harder éclairés
Certain visiteurs s'en remettent au hasard pour passer le quiz mais mémorisent leur erreurs et avancent lentement mais surement dans le quiz avec un minimum de réflexion, avec 5 ou 6 erreurs.

Les try-harder aveugles
Ces visiteurs cliquent complétement aux hasard sur les panneaux des réponses (avec un temps de réponse assez court) faisant souvent plusieurs erreurs sur certaines questions et même des erreurs sur des questions où ils avaient déjà répondu correctement. Ils font un nombre considérable d'erreurs mais certains finalisent tout de même le quiz.

7 – En conclusion

Révélation

La modification du quiz a bien un effet positif sur l'arrivée de nouveaux joueurs.

En décembre les visiteurs ont été moins nombreux du fait de l'arrivée de la Maj 1.18 de Minecraft alors que Freebuild était encore en 1.17.

En janvier l'effet combiné de la Maj 1.18 et du quiz modifié a généré 461 nouveaux joueurs, valeur qui devrait se retrouver sur les mois prochains.

Bien sûr il y 'a un gros "turn-over" beaucoup de joueurs ne restent pas très longtemps mais il ne tient qu'à nous tous d'inviter ces nouveaux venus à rester, par la qualité de notre accueil, notre assistance et notre bienveillance

 

Modifié 14 février 2022 par Cyber_Jer

[Bot 2.0]

Merci à @Cyber_Jer pour ce travail minutieux et très utile.

Suite à ces résultats nous avons décidé au sein du Staff de laisser les choses ainsi, c'est-à-dire qu'il n'y aura plus du tout de délai lors d'une erreur effectuée dans le quiz.

[Cyber_Jer]

Voici un petite complément d'enquête (histoire de s'amuser encore un peu avec les chiffres et de jolis graphiques)

Précédemment il a été dit que généralement le serveur atteignait un maximum de joueurs connectés vers 18h.
Voyons dans quel mesure cela est vrai.

Dans une journée la fréquentation du serveur ressemble généralement à ça :

Mais il y a bien sûr des variations d'une journée à l'autre.
Si l'on superpose les courbes de fréquentation pour toutes les journées du mois de janvier 2022 on obtient ceci :

Certes ce n'est pas très lisible, mais on voit quand même qu'il y a bien une tendance générale :
quasiment pas de joueurs vers 6h du matin puis une reprise progressive jusqu'aux alentours de la fin de journée entre 18 et 20h, puis une redescente progressive du nombre de joueurs jusqu'à 6h du matin.

 

Pour y voir plus clair et établir des tendances plus précises, voici une moyenne de ces courbes.
Si les tendances sont en gros les même pour les week-end et les jours ouvrés, on remarque trois choses :
- Il y a deux fois plus de joueurs connectés le week-end dès 7 heures du matin et jusqu'à 16h.
- A partir de 18h la différence entre week-end et jours ouvrés est par contre assez faible et cela jusqu'au matin.
- Le pic de connectivité s'étend plus précisément entre 18h et 19h (en moyenne).

On peut donc dire que le pic de connexions n'est donc pas complètement représentatif de la fréquentation du serveur et que 18h n'est pas systématiquement (mais quand même souvent) l'heure où il y a le plus de joueurs.


 

Voici un autre graphique pour mieux percevoir cela.
Ici la courbe bleu représente le nombre de joueurs moyens pour chaque journée (calculé en faisant la moyenne des relevés horaires du nombre de joueurs). Les "bosses" que l'on voit assez bien sur la courbe correspondent aux week-ends.
La courbe rouge représente le nombre maximum de joueurs connectés pour chaque journée. les deux courbes suivent des tendances similaires mais la coube rouge  semble plus anarchique.
Si l'on compare cette même courbe rouge (maximum de joueurs) avec le nombre de joueurs connectés à 18h (les barres bleues) on voit qu'il y a des similitudes la moitié du temps et des écarts ou le maximum de connectés se situe plus tard entre 19h et 21h.


 

Voyons donc en faisant une moyenne de ces valeur dans quelle mesure pic de connectivité et moyenne du nombre de joueurs sur les journées sont représentatifs de la fréquentation du serveur.
Le nombre moyen de joueurs connecté en semaine est de 7,3; il est de 11 les week-ends, soit un écart de 50%.
Le nombre maximum de joueurs connectés en semaine et de 19,7, il est de 24,3 les week-ends, soit un écarts de 23%.
Ainsi la moyenne des joueurs connectés par journée est bien plus représentatif de la façon dont le serveur se rempli. Malheureusement les sites qui proposent des stats sur le serveur n'offrent pas ces chiffres (j'ai du les calculer).



 

Voici maintenant d'autres approches sur les données collectées.

ici c'est le nombre de joueurs connectés pour chaque heure, sur tout le mois qui est représenté
Quatres courbes sont représentés de façon plus épaisse pour y voir plus clair.
La courbe verte est celle du nombre de joueurs vers 6 heure : il y a quasiment personne la moitié du temps et un ou deux joueurs le reste du temps.
La courbe bleue est celle du nombre de joueurs vers minuit : il y a de grands écarts mais on peut dire qu'en moyenne il y a 10 joueurs.
Les deux courbes rouges correspondent au nombre de joueurs vers 18h et 19h, là aussi il y a des variations mais la moyenne est, comme on l'a vu aux alentours de 20 joueurs.


 

Un autre graphique joli mais difficile à interpréter
On pourrait appeler ça un "sismographe" du serveur. chaque bande de couleur représente le nombre de joueurs à une heure précise.
La zone avec des couches bleues représente le nombre de joueurs au petit matin.
La zone verte, la plus étroite, représente la période aux alentours de 6h, moment où il y a le moins de joueurs.
La zone rouge est la période autour de 18h.
Les zones roses et violettes sont les périodes après 18h jusqu'à minuit.

 

Enfin un graphique qui permet de mesure la "vitesse" de remplissage du serveur.
Il est construit en faisant la différence entre le nombre de joueurs d'une heure avec une autre.
Par exemple si il y a 20 joueurs à 18h et 15h joueurs à 17h, la valeur est de 5. Si il y a 13 joueurs à 20h et que précédemment il y avait 17 joueurs à 19h alors la valeurs et de - 4. Des valeurs proches de 0 indiquent une stabilité que le serveur ne se rempli ou ne se vide pas ou peu.
Ici il est encore intéressant de comparer week-ends et jours de semaine.
On voit que le "remplissage" est fort entre 8h et 11h, d'autant plus le week-end.
Il y a un deuxième pic de remplissage important vers 14h le week-end  et de 16h à 18h en semaine.
A 19h  ces valeurs sont à 0, le week-end comme en semaine, ce qui signifie (comme on là vu plus haut) qu'en fait le nombre de joueur  est stable entre 18h et 19h.
La diminution importante du nombre de joueurs se situe à 20h avec ensuite une réduction du nombre de départ vers 21h.


 

En conclusion
Ces valeur sont celles spécifiques du mois de janvier. Il est probable cependant que l'on retrouverait des tendances similaires sur les mois suivants avec des variations (causées par exemple par les jours de vacances).
On peut dire que les pic de connexion de joueurs et le nombre de joueurs vers 18h sont des indicateurs intéressants mais partiellement exacts par rapport à la façon dont le serveur est fréquenté.
Les journées où il y'a moins de monde vers 18h ne sont pas forcément des journées où la moyenne de joueurs est inférieure. L'inverse est moins vrai : quand le nombre maximum de joueurs est supérieur  aux moyennes, le nombre de joueurs sur toute la journée est aussi souvent supérieur.

Modifié 16 mars 2022 par Cyber_Jer