Sorge ai piedi del Monte Testagrossa (m.1175), dalla parte marchigiana, in Val Bagnola e Olivella. Val Bagnola era in origine Valle Bagloni, valle del piccolo bagno. Olivella è il nome volgare delle piante della famiglia oleacea, molto frequenti nei nostri boschi e siepi. La valle è poco assolata , ma ricca di vegetazione e di acque famose, forse le più salutari del massiccio del Monte Cucco. Da questa valle partiva la strada per il passo Di Chiaramonte, il celebre diverticulum con strada corrente come la chiamano i fabrianesi, o strada romana come è detta sul posto che da Fossato conduceva attraverso l’Appennino ab Helvillo Anconam. Il monastero di S. Cassiano non è stato un Eremo e nemmeno una badia. Fu un priorato, forse per il numero esiguo di monaci che ospitò nei secoli.
La fondazione si fa risalire secondo documenti non più esistenti sin dagli anni 1119 – 1153. Il documento che ancora si conserva e lo attesta è del 1177, i successivi documenti di donazioni fatte al monastero dei benedettini cui apparteneva risalgono al 1158 e al 1225, ma non si può escludere l’ipotesi che sia sorto all’epoca d’oro degli eremi e delle badie cioè intorno al 1050. Molti fogli riguardanti S. Cassiano si conservano ora nell’archivio di S. Nicolò di Fabriano. Nel secolo XV nel priorato non restò che un monaco, per questo il Papa Eugenio IV, con bolla del 1441 unì e incorporò S.Cassiano alla chiesa di S. Venanzo di Fabriano ( non ancora Cattedrale Basilica). Nel 1455 Papa Callisto III la unì alla collegiata di San Nicolò a Fabriano, unione che diventò definitiva nel 1456. S. Nicolò che entrò in possesso di tutti i beni del priorato curò l’ufficiatura della chiesa fino al 1860 quando per legge avvenne la soppressione statale. I beni allora furono venduti a privati e passarono di mano in mano.
La costruzione presenta notevole interesse non tanto all’esterno (in cui il portale a sesto acuto rinforzato da arco ribassato, e l’abside con lesene tonde e archetti su mensole, decorate con teste di animali) quanto all’interno, per la singolare disposizione della tribuna e della cripta. Nella fattispecie il modello seguito nella distribuzione dello spazio non ha precedenti né imitazioni nel romanico dell’Italia centrale, e per questo risulta di notevole interesse storico-artistico. La chiesa, infatti, risulta avere un’unica campata absidata in cui troviamo una tribuna alla quale si accede mediante sette gradini che comincia quasi alla metà della navata ed è ricavata sul lato sinistro. Dall’altro lato una scala scende verso la cripta, coperta con una crociera absidata. In pochissimo spazio, il progettista è riuscito a contenere la tribuna e la cripta con grande creatività determinando la singolare importanza dell’edificio.
La splendida chiesa romanico-gotica è tutta in pietra con una bellissima abside esterna e il portale a sesto acuto rinforzato da arco ribassato. L’abside con lesene tonde per 5 monofore a tutto sesto, dodici archetti tronchi con mensole centrali zooforme decorate con teste di animali e due colonne. Questa mescolanza di stile romanico con il gotico fa supporre che la chiesa sia stata edificata probabilmente intorno al secolo XI, tenuto conto della cripta, poi completata o rimaneggiata nella metà del secolo XIII. Si conosce poco dell’edificio dell’ex abbazia che risulta addossato alla parete esterna della chiesa: sono ancora riconoscibili gli spazi della ex sagrestia e strettamente connessi al complesso chiesastico sono i locali delle attuali cucine poste al livello della cripta.
Tutti i locali sono stati rimaneggiati più volte nel corso degli anni e dal punto di vista strutturale risultano essere in ottime condizioni, anche grazie agli interventi effettuati nel periodo post sisma del 1997.