L'any 1839 es va iniciar la reforma que conclouria amb l'actual edifici neoclàssic de la segona branca de la família Olives, i que l'arxiduc Lluís Salvador d'Àustria, de la dinastia imperial dels Habsburg, va definir en el seu Die Balearen (1869-1891) com «sense cap tipus de dubte la mansió més bella de l'illa».

Les estances del palau han presenciat visites de reis i altres personatges insignes, la confiscació per part de l'exèrcit republicà durant la Guerra Civil espanyola (1936-1939), celebracions familiars i esdeveniments socials protagonitzats pels diferents comtes, els quals han estat investits al llarg del temps d'importants càrrecs públics —a l'antiga Universitat General de Menorca, a l'alcaldia de Ciutadella o a l'Assemblea Nacional Consultiva durant el regnat d'Alfons XIII, entre altres— i d'honors de la Reial Casa i Patrimoni de la Corona d'Espanya.

L'antiga casa, residència pairal del comtat de Torre-saura durant 177 anys (1818-1995), guarda gelosament entre les seves parets una part important de la història de la ciutat, i de Menorca, a més de l'atmosfera i la memòria de l'infortunat destí d'una de les principals nissagues de l'illa.