Durante l´occupazione napoleonica, il palazzo fu abitato dal card. Josef Fesch (1763-1839), zio di Napoleone ed ambasciatore di Francia a Roma. Ai primi dell´800, il palazzo fu acquistato dai Ferraioli, commercianti originari di Salerno, che ebbero il baronato di Filacciano nel 1852, da Pio IX. All´angolo con via del Corso, c´era il famoso “Caffé del Giglio” dal 1849 al 1978.
