Der Palazzo Almerici, der seit dem 31. Juli 1892 die Bibliothek und das Museum Oliveriani beherbergt, ist eines der wichtigsten architektonischen Gebäude des achtzehnten Jahrhunderts in Pesaro. Seine monumentale Struktur bietet den Besuchern die Gelegenheit, den Ruhm der edlen Vergangenheit zu erleben. Die Fassade des Gebäudes hat eine harmonische Proportion, jenseits des großen Portals öffnet sich eine Welt mit elegantem Stuck und Malereien, welche den Geist der Vergangenheit wieder aufleben lassen. Der schöne Innenhof wird durch eine lange Galerie mit einer eleganten Balustrade, die archäologische Artefakte und Antiquitäten zeigt, dominiert. Auf der Treppe findet man Reste von monumentalen Skulpturen und Inschriften aus der Klassik, dem Mittelalter und der Renaissance, die Teil der Sammlung des Archäologischen Museums Oliveriano im Erdgeschoss des Gebäudes sind. Im Erd- und im Obergeschoss gibt es Säle mit Verbindungstüren und wunderschönen weißen Stuckdecken sowie Wänden mit Lisene. In zwei Sälen ist es noch möglich, Gemälde aus Tempera des achtzehnten Jahrhunderts zu bewundern. In der Sala dei Manoscritti o del Mappamondo findet man die Arbeit von Carlo Paolucci aus Urbino, einer der beste Studenten von Giannandrea Lazzarini, welche an der Decke die zwölf Sternbilder des astrologischen Tierkreises, die vier Jahreszeiten, die Sonne und den Mond in der Gestalt des Apollo und der Diana sowie die Sommer- und Wintersonnenwende darstellt. Im Nebenraum befindet sich an der Decke eine Dekoration in Form von vier Tafeln, welche die vier bis zu der Zeit bekannten Erdteile beschreiben. Europa, Asien, Afrika und Amerika werden dort von vier weiblichen Figuren personifiziert. Der Palazzo Almerici wurde während des achtzehnten Jahrhunderts von der Familie Olivieri gebaut und später von der Familie Almerici gekauft. Zwischen den Jahren 1756 und 1787 stiftete Annibali degli Abbato Olivieri, ein Mann von großer Kultur, der Gemeinde seine außergewöhnliche Bibliothek und eine Sammlung wertvoller Gegenstände. Diese Kollektion bildete die Grundlage der Bibliothek und des Archäologischen Museums Oliveriano.