Un primo oratorio, costruito grazie alla donazione effettuata dal Cavaliere di Malta Enrichetto Natta, che aveva acquistato una casa nel cantone Vaccaro per donarla alla Congregazione, fu consacrato dal vescovo Tullio Del Carretto nel 1613 sotto il titolo dell’Immacolata Concezione di Maria Vergine e di San Carlo. Tuttavia, nel 1635, quando ormai i lavori di costruzione sembravano essere giunti quasi al termine, le esigenze militari, legate ai continui assedi subiti dalla città e alla posizione periferica dell’edificio, portarono all’inevitabile abbattimento. Solo nel 1671, in seguito all’acquisto da parte dei Padri di alcune case e alla donazione fatta dal conte Vincenzo Natta del terreno antistante il suo palazzo, fu iniziata la costruzione della chiesa odierna realizzata in pieno stile barocco su progetto iniziale del canonico Sebastiano Guala. Già nel 1679 però, le murature risultarono fortemente compromesse a causa di un difetto di fabbricazione e per tale motivo i Padri Filippini decisero di sollevare dal suo incarico il maestro da muro Carlo Maria Mariano, affidandolo a un nuovo capomastro, Giovanni Pietro Negri che provvide a portare avanti il cantiere previa la demolizione dei muri e degli arconi ritenuti difettosi. Alla morte del Guala, subentrò nella progettazione e nella direzione dei lavori l’ingegnere Giovanni Battista Scapitta al quale fu chiesto di ridimensionare gli elementi e di portare a termine l’opera. È  pensabile che nel corso della progettazione, Scapitta possa essersi ispirato ai progetti commissionati ma mai realizzati dell’architetto Guarino Guarini, che proponevano la tipologia con pianta a croce greca con elementi a pianta circolare, tamburo cilindrico e cupola semisferica. La chiesa, dedicata all’Immacolata Concezione e a San Filippo Neri, fu consacrata dal vescovo Pietro Secondo Radicati il 19 ottobre 1721.

Nel 1802, in seguito alle soppressioni degli ordini religiosi attuate dal governo napoleonico, i Padri dell’Oratorio abbandonarono il complesso comprendente l’annesso Collegio, che successivamente passò sotto la giurisdizione della diocesi per essere adibito a Seminario Maggiore. Tale passaggio avvenne in maniera pacifica grazie all’intervento di Monsignor Jean-Chrysostome de Villaret  e più di recente utilizzato come sede degli Uffici della Curia casalese.