Refus de restriction par l employeur préconisé par la médecine du travail ?- santé

Je viens de passer à la médecine du travail pour une reprise en mi temps thérapeutique suite à un arrêt maladie de 3 mois. Sachant que je suis travailleur handicapés mon employeur à t il le droit de refuser l une des restrictions que le médecin du travail à préconisé ? Mais me fais quand même faire
Ce dernier donc mon employeur à envoyé un courrier au médecin du travail en disant que cela n été pas possible de ne pas me faire faire cette tâche car cela faisait partie de ma fiche de poste et que si la médecine du travail maintenez cette restriction en gros on m’a bien fait comprendre que même en étant en mi temps thérapeutique je n avais plus rien à faire dans l entreprise car je ne pouvais pas faire cette tâche !!!