Les Mithon, intégrés à la noblesse sous Louis XIII, sont devenus les seigneurs de la Grange-la-Prévôté à Savigny, au début du 17e siècle. Jean-Jacques Mithon fait construire le château de la Grange à Savigny-le-Temple qu'il habite et embellit.
En 1685, Louis Jean Mithon (1626- ? ), trésorier général des Troupes étrangères au service de la France, devient le seigneur de La Grange-la-Prévôté en épousant Marie L’Écossois le 29 mars 1663, fille de François L’Ecossois et de Catherine Anne Marie de Cothereau et petite fille de Jacques Cothereau et d’Anne Bragelongne.
En 1720, Jean-Jacques Mithon (Orléans 1669/1670-1737) est à son tour le seigneur du domaine. Marié en premières noces à Marie Elisabeth Giraud du Poyet, la grande tante de Claude Mithon, il se remarie avec la nièce de sa première femme : Marie Catherine Giraud du Poyet.
En 1737, Charles Gabriel Mithon (1720-1790), hérite de la propriété. Il a deux filles d’une liaison avec Adélaïde Théodore O’Lary, « qui était digne et par son origine et par ses qualités personnelles ». « Tout était préparé pour leur union, lorsque la mort vint le surprendre avant qu'il n'ait pu légitimer ses filles ». Charles Gabriel Mithon meurt dans les bras de son frère, Claude Mithon de Genouilly, en lui recommandant ses enfants. Ce dernier n’ayant pas d’héritiers directs, décide d’adopter les deux filles de son frère. On retrouve l'enregistrement officiel, daté du 6 nivôse an V (26 décembre 1796), à la mairie du IVe arrondissement de Paris. Adélaïde Théodore O’Lary vit à Changy depuis septembre 1792. Le 3 germinal an III, elle déclare y résider sans interruption depuis le 20 vendémiaire an II (11 octobre 1793).
En 1791, Jacques Louis Mithon (1723-1796), comte de Seneville, commandant de la partie ouest de Saint Domingue, succède à son frère Charles Gabriel comme seigneur de La Grange, Claude n’étant que le troisième fils de Jean-Jacques Mithon.
En 1797, Claude Mithon de Genouilly (1725-1803), devient l’héritier à la mort de son frère Jacques Louis.
En 1798, la propriété est vendue à Marie de Romé.
Madame de Romé, cède le domaine, pour 200.000 francs, au Général Bernadotte (époux de Désirée Clary) le 25 novembre 1800.
Le domaine est ensuite repris par Nicolas Clary, le frère de Désirée. Son fils François épouse Mademoiselle Talabot, qui, après le décès de son mari, y vit jusqu'en 1915. Ses filles vendent le domaine qui, avant d'être acheté par le Département de la Seine, a plusieurs acquéreurs .
De 1926 à 1933, l'industriel Alfred Elby, rénove la propriété qui s'étend sur 1 100 hectares.
Puis, en 1957, le docteur Pierre Zizine cède le domaine à l'Institut Gustave Roussy dont les activités cessent en 1997.
La ville de Savigny-le-Temple décide alors de reprendre la gestion de ce site de près de 14 hectares, abritant un château de style Second-Empire, un parc et un vaste potager. Elle en devient propriétaire en 2015.
Le château est utilisé depuis 2002 pour des séminaires. C'est un lieu d'expositions, de réunions et de réceptions.
