Dans la mesure où ces deux jours de repos sont inscrits précisément sur votre contrat de travail, le fait de vouloir les changer constitue une modification d'un élément essentiel de votre contrat qui nécessite votre accord. Votre direction ne peut donc vous imposer ce changement.

Ne pourrait-on dire qu'il s'agit d'une simple modification des conditions de travail simplement et faisant référence au pouvoir d'organisation de l'employeur ?

Oui ! On pourrait le dire si les deux jours de repos n'étaient pas précisés dans le contrat de travail. Mais dans cette question les deux jours de repos sont clairement mentionnées dimanche et lundi, c'est pour cette raison que leur modification constituent une modification d'un élément essentiel du contrat de travail et non pas une simple modification des conditions de travail.
Pour éviter d'avoir à demander l'accord du salarié en cas de changement de ces jours de repos, il faut seulement préciser que le salarié bénéficie de deux jours de repos par semaine, sans préciser les jours.