Jeu de dés - décider de relancer ou non
Je travaille sur le problème suivant à partir d'un livre:
Un casino a un jeu de dés. Vous pouvez lancer autant de fois que vous le souhaitez. Pour chaque rouleau, vous êtes payé$M$ dollars où $M$est le nombre de points sur le rouleau tant que vous ne lancez pas un 6. Le paiement pour chaque rouleau est additif. Cependant, si vous obtenez un 6, le jeu se termine et vous perdez votre profit accumulé jusqu'à présent. Combien êtes-vous prêt à dépenser pour ce jeu?
Je regarde la solution fournie par le livre et je suis confus. La solution est publiée ci-dessous. La partie dont je suis confus consiste à examiner le seuil pour$n$ auquel
$$ 5/6 \cdot n + 2.5 > n $$
L'égalité dans l'expression ci-dessus est valable lorsque $n = 15$. Je comprends comment ils ont déterminé cette solution, mais je ne vois pas pourquoi c'est le seuil le plus optimal parce que l'équation$5/6 * n + 2.5$est dérivé de l'hypothèse que vous ne pouvez lancer qu'une seule fois de plus. Donc si nous avons$n = \$16 $ , la solution nous dit qu'il ne faut pas relancer parce que l'espérance de profit d'un rouleau supplémentaire est inférieure au profit actuel. Mais cela suppose que nous ne pouvons lancer qu'une seule fois de plus. Il ne faut pas considérer les cas de roulage plus d'une fois si on a $ n = \$16$ déjà?
Réponses
Laisser $V(n)$ représentent le nombre de dollars gagné escompté si vous avez accumulé $n$dollars. Si vous décidez d'arrêter, vous gagnez$n$dollars. Si vous décidez de lancer, vous serez dans l'un des six états, chacun avec probabilité$1/6$, et en conditionnant la valeur $r$ du prochain rouleau, nous obtenons la valeur attendue $$\frac{1}{6} \sum_{r=1}^5 V(n+r) + \frac{1}{6}\cdot 0.$$ Par conséquent $$V(n) = \max\left(n,\frac{1}{6} \sum_{r=1}^5 V(n+r)\right) \quad \text{for all $n \ ge 0$} \tag1$$ Si vous pouvez établir une condition aux limites $V(n)=n$ pour tous $n\ge m$, vous pouvez alors résoudre la récurrence pour $n<m$ trouver $V(0)$.
Pour trouver un tel seuil $m$, notez que la récurrence $(1)$ implique que $$m \ge \frac{1}{6} \sum_{r=1}^5 V(m+r) = \frac{1}{6} \sum_{r=1}^5 (m+r) = \frac{5m+15}{6},$$ alors $m \ge 15$, mais la solution du livre ne montre pas que $m \le 15$. En effet, si vous définissez un seuil plus élevé, disons$m=16$, vous obtenez toujours $V(15)=15$. L'argument implicite est que$V(n)=n$ implique $V(n+1)=n+1$. En mots, s'il est optimal d'arrêter de rouler en état$n$, alors il est optimal d'arrêter de rouler dans l'état $n+1$.
oui, il est logique d'arrêter de rouler après avoir accumulé un certain non de dollars, supposons que nous ayons n dollars à une étape, puis à l'étape suivante, nous avons $\frac{5n}{6}\,+\,2.5$ dollars donc de cette façon si nous continuons à la prochaine $m^{th}$ étape que nous avons $(\frac{5^{m}}{6^{m}})\,(n-15)\,+\,15$ notre objectif serait de maximiser cette quantité, nous pouvons clairement voir que si nous tendons à l'infini c'est-à-dire que nous continuons à jouer au jeu, nous avons un résultat attendu de 15 dollars, peu importe ce que nous avons à une étape particulière, donc cela ne fait aucun sens de commencer le jeu avec plus de 15 dollars à portée de main, à tout moment si nous avons> = 15 dollars, nous vérifions si le résultat attendu à l'étape suivante est supérieur au montant actuel que nous avons ou non, si oui, nous donnons un autre rouleau, si non, nous nous arrêtons.