U prostor između crkve-tvrđave, zvonika i obrambenog zida, 1970. Centar za kulturnu baštinu otoka Hvara pod ravnanjem dr. Nike Dubokovića, smješta Lapidarij s dvadesetak kamenih predmeta iz antičkog i srednjovjekovnog doba Jelse.

Značajna je nadgrobna ploča iz rimskog razdoblja, reljef Nikole Fiorentinca iz XV. stoljeća, mletački lav kod zvonika, kameni stol viteza Ivana Obradića i drugi predmeti koji ukazuju na višestoljetnu naseljenost Jelse.