El monumental palau de Torre-saura permet al vianant intuir la noble estirp de la família que el va promoure i habitat. D'aproximadament 6.000 m2 de superfície i flanquejat per les extenses façanes neoclàssiques que s'obren al carrer Major des Born i a la plaça des Born, el seu aspecte actual fou concebut en el segle XIX. Resultat de successives reformes, els plànols són obra de Ramon Gelabert i de l'enginyer militar Ildefons Hernández. L'estil arquitectònic de l'edifici, visiblement contextualitzat en essència a peculiaritats mallorquines, presenta en la seva concepció sòlides reminiscències de l'arquitectura italiana i francesa.

La façana del carrer Major des Born, d'un equilibri sobri i de gran simetria, acull la porta principal del palau, emmarcada entre dues columnes d'estil jònic i coronada per l'arxifamós rostre d'ulls velats, el significat del qual ha donat lloc a diferents llegendes i especulacions. La més estesa es refereix a una infundada animadversió envers la casa de davant, tot i que el més segur és que es tracti d'un símbol romàntic de benvinguda o d'acolliment sense «mirar», jutjar o tenir en compte la condició i procedència del visitant. La façana de la plaça des Born es compon de dues grans lògies d'inspiració italiana amb arcades de mig punt entre pilastres amb capitells d'ordre compost, situades en ambdós extrems de l'enfront, i una portalada central rematada amb l'escut comtal. L'edifici es corona amb dotze hídries ornades de flors situades sobre les lògies i dos notables bustos en la balustrada que tanca la terrassa superior, ambdós costats de la portalada de carruatges.

L'escut comptat es conté dels llinatges Olives —representat per un braç armat sostenint una branca d'olivera—, Quart i Riudavets, i es circumscriu en la bíblica frase en llatí «Olibas habebis in omnibus terminis tuis» (tindràs oliveres en tots els teus termes). En ambdós costats del blasó hi ha representades sengles quimeres alades amb el cap i mig cos de lleó i coa de dragó. Dos atlants imponents custodien l'entrada, sobre la qual hi ha esculpit un cap de lleó amb una anella a la boca com a element apotropaic d'allunyament del mal.