Alla fine del XIV secolo, Giacomo II d'Aragona iniziò un'espansione della città di Trapani, estendendola soprattutto verso ovest e verso nord. L'espansione verso ovest avvenne attraverso la bonifica di un'area caratterizzata da scogli e isolotti, dando vita a un nuovo quartiere chiamato "Palazzo", con al centro l'attuale Corso Vittorio Emanuele, un tempo noto come Tua Grande. L'estensione verso Nord si sviluppò invece intorno a un nuovo asse viario, la Rua Nova, da cui il quartiere prese il nome.

Palazzo Milo, noto anche come Palazzo Pappalardo, fu costruito verso la fine del XVII secolo lungo la Rua Nova. Questo luogo divenne un punto di riferimento per l'aristocrazia e l'alta borghesia trapanese del XVII secolo, fungendo da spazio di incontro e di rappresentanza. Secondo alcune ipotesi, l'edificio nacque come convento e faceva parte di un complesso che comprendeva anche la vicina chiesa di Sant'Alberto.

Nel corso dei secoli, l'edificio è passato attraverso diversi proprietari: inizialmente appartenente alla famiglia Saura, fu poi acquistato dalla baronessa Milo, quindi dalla famiglia Augugliaro e infine dalla famiglia Pappalardo da cui deriva il soprannome.

L'architettura di palazzo Milo rientra nella tipologia delle grandi residenze urbane della Sicilia settecentesca, simbolo di prestigio e benessere per le famiglie nobili e le classi più abbienti. All'interno, gli spazi erano distribuiti secondo una rigida gerarchia sociale, distinguendo nettamente le aree private da quelle pubbliche, attraverso le quali la famiglia interagiva con il resto della società. Il piano nobile era caratterizzato da stanze comunicanti, ognuna delle quali aveva una funzione specifica e una decorazione personalizzata.

Gli affreschi che decorano i soffitti risalgono per lo più al periodo compreso tra il 1890 e l'inizio del XX secolo. Poiché il palazzo apparteneva a un'importante famiglia borghese, le decorazioni riflettono il gusto dell'epoca, con scene che celebrano qualità, eventi e valori legati al proprietario. Il repertorio figurativo comprende motivi floreali, grottesche, riferimenti alle cineserie e raffigurazioni di divinità mitologiche.

Ancora oggi sono presenti affreschi in sei sale, ognuna con un tema diverso. La sala cinese, ad esempio, presenta scene orientali e canne di bambù, testimonianza della moda delle cineserie ispirate ai racconti di viaggio e al fascino dell'Oriente. Mentre la sala della musica o sala da ballo conserva un piccolo teatro musicale in legno intagliato e dipinto a tempera, con decorazioni in stile neoclassico.