Ende des 14. Jahrhunderts begann Jakobus II. von Aragonien mit der Erweiterung der Stadt Trapani, vor allem in Richtung Westen und Norden. Die westliche Erweiterung erfolgte durch die Urbarmachung eines von Felsen und Inseln geprägten Gebiets, wodurch ein neues Viertel namens "Palazzo" entstand, in dessen Zentrum sich der heutige Corso Vittorio Emanuele befindet, der früher als Tua Grande bekannt war. Die Ausdehnung nach Norden entwickelte sich stattdessen um eine neue Straßenachse, die Rua Nova, von der das Viertel seinen Namen erhielt.

Der Palazzo Milo, auch bekannt als Palazzo Pappalardo, wurde gegen Ende des 17. Jahrhunderts entlang der Rua Nova erbaut. Dieser Ort wurde im 17. Jahrhundert zu einem Bezugspunkt für die Aristokratie und das gehobene Bürgertum von Trapani und diente als Treffpunkt und Repräsentationsort. Einigen Hypothesen zufolge wurde das Gebäude als Kloster errichtet und war Teil eines Komplexes, zu dem auch die nahe gelegene Kirche Sant'Alberto gehörte.

Im Laufe der Jahrhunderte hat das Gebäude mehrere Besitzer gehabt: zunächst gehörte es der Familie Saura, später der Baronin Milo, dann der Familie Augugliaro und schließlich der Familie Pappalardo, von der sich der Spitzname ableitet.

Die Architektur des Palastes Milo gehört zur Typologie der großen städtischen Residenzen im Sizilien des 18. Jahrhunderts, die für Adelsfamilien und wohlhabende Schichten ein Symbol für Prestige und Wohlstand waren. Im Inneren waren die Räume nach einer strengen sozialen Hierarchie aufgeteilt, wobei die privaten Bereiche klar von den öffentlichen Bereichen unterschieden wurden, über die die Familie mit dem Rest der Gesellschaft interagierte. Das Hauptgeschoss bestand aus miteinander verbundenen Räumen, von denen jeder eine bestimmte Funktion hatte und individuell dekoriert war.

Die Fresken, die die Decken schmücken, stammen größtenteils aus der Zeit zwischen 1890 und dem frühen zwanzigsten Jahrhundert. Da der Palast einer bedeutenden bürgerlichen Familie gehörte, spiegeln die Dekorationen den Zeitgeschmack wider, mit Szenen, die Eigenschaften, Ereignisse und Werte im Zusammenhang mit dem Besitzer feiern. Das figurative Repertoire umfasst florale Motive, Grotesken, Bezüge zur Chinoiserie und Darstellungen mythologischer Gottheiten.

Noch heute gibt es in sechs Räumen Fresken, die jeweils ein anderes Thema behandeln. Das chinesische Zimmer zum Beispiel zeigt orientalische Szenen und Bambusrohre, Zeugnisse der Chinoiserie-Mode, inspiriert von Reiseberichten und dem Charme des Ostens. Das Musikzimmer oder der Ballsaal beherbergt ein kleines Musiktheater aus geschnitztem Holz und Temperamalerei mit Dekorationen im neoklassischen Stil.