Dopiero, gdy papież polecił…
Nawet po przeniesieniu Kongregacji Oratorium do kompleksu S. Maria in Vallicella, Filip nie mógł się zdecydować na opuszczenie San Girolamo della Carità. 22 listopada 1583 roku, na wyraźne polecenie papieża Grzegorza XIII, przenosi się z San Girolamo do Chiesa Nuova, po 32 latach przeżytych w konwikcie. Ojcowie oratorium już od dłuższego czasu pragnęli przybycia Filipa. Ojciec zwlekał, wahał się i pozostawał w San Girolamo. Kardynał Cesi był tym, któremu papież wręczył rozkaz dla Filipa opuszczenia San Girolamo. Ojciec natychmiast posłuchał papieża, ale potrafił swoją przeprowadzkę zamienić w karnawałowy orszak, w którym były niesione w procesji wszystkie jego liche naczynia. Mieszkańcy Rzymu widzieli, jak przechodził niosąc w ręku chochlę i flaszkę, a za nim szli inni ze skromnymi sprzętami domowymi. W San Girolamo pozostała tylko kotka, którą Gallonio chodził codziennie karmić.