Refus de détachement., quel recours ?- détachement

Je suis adjoint administratif au sein du ministère de la Justice. J’ai effectué une demande de détachement auprès d’une autre administration (Finances)qui a été retenue. J’ai donc déposé ma demande de détachement auprès de mon administration d’origine,j’ai été avisé par téléphone, du refus de mon détachement le 22/10, mais je n’ai aucune notification. Le motif invoqué est raison de service et manque de personnel (sachant qu’un adjoint à postulé sur mon poste PSDV). Quel recours puis je entreprendre svp ? En vous remerciant, je vous souhaite une bonne journée, cordialement