chaine de markove

je cherche un algorithme donnant comme résultat les probabilités de premier passage d'une état i vers j pour la première fois on utilisant les relations de recurrence.