Se encuentra ubicado en la llamada Casa de la Torre, a un costado de la Catedral de Cuernavaca, de la cual en algún tiempo formó parte del museo; además el nombre lo toma por la forma de la construcción central de la propiedad.Este se construyó a finales del siglo XIX por el Segundo Obispo de Cuernavaca Don Francisco Plancarte y Navarrete, en los anexos del obispado, el cual había formado parte del convento franciscano del siglo XVI, además de que la torre sirvió para observaciones astronómicas y metereológicas.
En tiempo de la Revolución Mexicana, y debido a los problemas generados por esta, el Seminario, el claustro y demás construcciones fueron abandonadas en el año de 1917.Cuando la Catedral reanudó sus funciones, se reabrió el templo del convento y el obispado fue instalado en una sección del claustro; todos los demás edificios anexos cambiaron paulatinamente de uso y de dueño, de este modo la parte sur de la huerta se convirtió en el Parque Revolución (con una calle de por medio), se separó la esquina sur-este, la cual pasó de particular a particular hasta llegar a su último dueño, Robert Brady, quien la compró en 1961 y la restauró totalmente con el fin de utilizarla como su casa y le introdujo las comodidades y los espacios necesarios para hospedar a sus frecuentes huéspedes y sus grandes colecciones de arte.
