421

Introduction

Le 421 est un jeu de dés. Habituellement joué à plusieurs, j'en propose ici une version solitaire.

Règles du jeu

Le 421 se joue avec 3 dés classiques, donc ayant 6 faces équilibrées numérotées, de 1 à 6. L'objectif est d'obtenir la meilleure combinaison de dés.
Un épisode se déroule comme suit : on commence par lancer les 3 dés. Ensuite, on peut relancer 1, 2 ou 3 dés. Enfin, on peut relancer une dernière fois 1, 2, ou 3 dés. Cela donne une combinaison plus ou moins forte, selon l'ordre indiqué ci-dessous.

• La meilleure combinaison est 421.
• Viennent ensuite les brelans : un brelan est une combinaison où les 3 dés sont égaux. On a l'ordre suivant : 111 > 666 > 555 > 444 > 333 > 222.
• Puis les suites : une suite est une combinaison où les 3 dés se suivent. On a l'ordre suivant : 654 > 543 > 432 > 321.
• Enfin, on a toutes les combinaisons qui s'ordonnent en fonction des dés. Les 3 dés correspondent à un nombre à 3 chiffres qui est obtenue en prenant le dé le plus élevé, puis le suivant et enfin le moins élevé. Par exemple, si les 3 dés sont 1, 6, 5, cela fait 651.
  Donc, la combinaison la plus élevée parmi celles-ci est 665, puis 664, ... jusque 221 qui est la plus faible.

À faire :
Concevoir et implanter l'algorithme Q-Learning qui joue au 421.
Pour cela, vous devez définir le problème de décision de Markov.
Observez votre programme jouer. Joue-t-il comme vous vous y attendez ? Mesurez sa performance. Vous pouvez jouer contre lui et voir qui gagne entre vous et le programme. Vous pouvez aussi comparer les performances de votre programme avec celui écrit par vos voisins.

Vous pouvez aussi implanter un algorithme vu en PDI. Je vous encourage à le faire, cela vous permettra de juger si le Q-Learning apprend une politique optimale comme celle calculée par un algorithme exact.