Prvi počeci turizma na otoku sežu u daleku prošlost, u doba antike i srednjeg vijeka, što 
dokazuju villae rusticae čije ostatke nalazimo u cijelom Hvarskom ageru (polju) kao gospodarske i ladanjske objekte. Tijekom cijeloga srednjeg vijeka otok su posjećivali mnogobrojni pustolovi, prirodoslovci, etnolozi i arheolozi koji proučavaju biljke, minerale i antičke spomenike.
Organizirani turizam započinje 1868. godine utemeljenjem Higijeničkog društva Hvar pod vodstvom biskupa Jurja Dubokovića. Prvi hotel s 13 jednokrevetnih soba i restoranom otvoren je u kući Samohod-Duboković, a posjećuju ga strani gosti. Taj događaj smatramo početkom modernog i organiziranog turizma na otoku.
Hotel Jadran najstariji je hotel u Jelsi, otvoren 1911. godine. Imao je 14 soba s otmjenim namještajem, restoran, pivnicu i salon za čitanje. U njemu borave mnogi poznati gosti među kojima 1937., kao tromjesečna djevojčica, nekadašnja ministrica vanjskih poslova SAD-a, Madeleine Albright. Prvi vodič Jelse objavljen je 1913. godine.
Do naglog razvoja turizma i izgradnje hotela, pansiona, apartmana, restorana, barova, disco-clubova i drugih turističkih usluga dolazi krajem 60-tih godina XX. stoljeća kad turizam postaje glavna gospodarska djelatnost