J’ajouterais à votre éclairage de physicien celui du mathématcien/probabilisite :

D’un point de vue mathématique, les probabilités sont une forme de pis-aller. Comme vous l’expliquez sous l’angle matériel des choses, les probabilité ne traduisent pas une réalité ou une certitude mais des hypothèses faites faute de mieux.

A la notion de probabilité il faut rattacher celle de hasard. Le hasard s’oppose au determinisme. Est dû au hasard ce que l’on ne sait pas calculer à l’avance et est deterministe ce qui peut etre calculer en prenant en compte tous les facteurs intervenants dans le phénomène.On dit, donc, qu’un résultat est dû au hasard lorsqu’on est incapable d’en determiner l’issue.

Par exemple lorsqu’on lance un dé et qu’on voudrait en prévoir le résultat au moment ou le dé vient de quitter la main du lanceur, l’ensemble des paramètres à prendre en compte (forme du dé, frottement dans l’air, force et direction du lancer, rigidité du dé et la surface sur laquelle il attérit, inclinaison de la surface, etc ... ) font qu’il est impossible de determiner le résultat avec certitude. Pourtant, au moment où le dé quitte la main du lanceur, tous les paramètres régissant le mouvement du dé sont bien établis et le résultat final est déjà scéllé par les conditions de l’expérience. Ainsi le "hasard" sur le résultat du dé traduit surtout le manque de maitrise/connaissance des conditions experimentales. En admettant qu’il soit possible de maitriser/connaïtre tous les paramètres il serait alors possible de prévoir excatement le résultat du dé, et ce dès l’instant où il a quitté la main du lanceur. Mais ces paramètres ne sont pas mesurables avec assez de précison et on dit donc que le résultat est dût au hasard.

Tout cela pour dire que le hasard (et donc les probabilités) n’a pas d’existance "réelle", il ne s’agit que d’un concept dont la vocation est de palier au manque d’information. Ce que l’on pourrait appeler une vue de l’esprit.

Par ailleurs, pour faire prendre un peu de recul sur la pertinence des observations par un scientifique ou même quelques uns tous convaincus d’une théorie, il y a un phénomène qui a été démontré par l’expérience : la capacité des scientifiques ( même très sérieux par ailleurs) à s’autopersuader. En effet, il y a queqlues années un article de courrier international marrait une anecdote qui prenait place lors d’un cours de physique où le professeur avait mis en place un protocole dont le résultat probant devaient être des taches mises en mouvement sur un écran. Dans l’inter-cours, des élèves quelque peu taquins, avaient remplacé l’écran par un autre qui affichait des taches fixes (car peintes et non duent au bombardement electronique) ....et le professeur de scruter l’écran et de prétendre qu’il voyait les tache bouger... et les élèves les moins critiques d’affirmer qu’eux aussi voyaient les taches bouger... tous certainement en toute bonne foi voyaient les taches bouger mais la peinture est têtue, elles étaient sans discussion possible bien fixes... autant pour la frontière entre démonstratione et persuasion.