Problème d'heures pour un agent- temps de travail

Bonjour, je travaille pour une collectivité, il y a un an les naps on été stopper dans la commune sans même concerté les agents.durant une année j’ai signalé à la dgs à plusieurs reprise que je perdait des heures et que je voulais pas me retrouver avec des heures à devoir, elle m’a dit qu’elle s’en occuperait mais rien n’a été fait, je leur proposer à plusieurs reprises aussi de modifier mon contrat si nécessaire, que ça me dérangeais pas mais la rien aussi. Aujourd’hui j’ai 99heures à leurs devoir et je suis dégoûté…. Du coup pour me faire rattraper ces heures on m’a donné du ménage à faire. Ma question est la suivante : est ce légale d’imposer à un agent la récupération de ces heures si lui même n’y est pour rien de cette perte ? Je vous remercie de l’intérêt que vous portez à ma question. Cordialement