Ce que vous pratiquez s'appelle le temps partiel modulé qui demande un minimum de formalisme afin d'éviter tout problème. je vous reproduis le chapitre relatif à ce dispositif figurant dans ce blog dans le chapitre temps partiel :

Temps partiel modulé
Pour éviter les problèmes de recours aux heures complémentaires, ou de moindre activité vous pouvez adapter le temps de travail de vos salariés à temps partiel en fonction de votre activité en utilisant le temps partiel modulé.
En effet, le temps partiel modulé permet de faire varier, dans certaines limites, la durée hebdomadaire ou mensuelle fixée dans le contrat de travail sur tout ou partie de l'année, ou pendant la durée de la saison.

D'application directe
L'article 22 de l'accord prévoit que l'employeur peut mettre en place directement le temps partiel modulé (celui-ci n'est pas obligé de le conclure en accord d'entreprise).
L'accord prévoit que cette variation doit respecter les limites suivantes :

la durée minimale du travail hebdomadaire ou mensuelle ne peut être inférieure à deux tiers de celle fixée au contrat, soit en principe 24 heures, sauf accord écrit et express du salarié ;

la durée minimale de travail pendant les jours travaillés doit être au moins égale à 3 heures ;

la durée du travail prévue dans le contrat peut varier à condition d'être au minimum égale au 2/3 de la durée prévue au contrat et de ne pas dépasser le tiers de cette durée.

Exemple : la durée minimale du contrat, sauf accord express contraire du salarié est de 24 heures par semaine. En conséquence, la variation de l'horaire conduira à faire travailler le salarié au minimum 16 heures et au maximum 32 heures par semaine.

Informer le personnel

Vous pouvez mettre en place le temps partiel modulé et faire varier les horaires sur la période que vous avez préalablement déterminée et qui peut être l'année complète ou une partie de l'année comme une saison. Mais quelque soit la période choisie, vous devez communiquer au salarié un mois avant le début de la période retenue, le programme indicatif annuel de la durée du travail.
En outre, tous les mois vous devez remettre au salarié, une note indiquant les horaires ainsi que leur répartition.
Vous pouvez modifier ces horaires, mais dans ce cas vous devez respecter les règles définies pour le temps partiel classique (voir le paragraphe "Il est possible de modifier la répartition").
L'accord précise que le salarié bénéficiera d?une rémunération lissée, c'est-à-dire qu'il percevra le même salaire pendant toute la période quelque soit le nombre d?heures réellement effectuées chaque mois.