Prve jevrejske porodice (Sefardi) doseljavaju se u Višegrad iz Sarajeva početkom 19. vijeka, prepoznajući grad kao važan trgovački most između Bosne i Srbije. Sa dolaskom Austrougarske i gradnjom pruge, zajednica se ubrzano širi dolaskom Aškenaza. Trgovci, apotekari i ljekari sa prezimenima Romano, Altarac, Kamhi, Levi, Papo i Pinto postaju stubovi privrednog života varoši. Iz ovog miljea izranja i najpoznatija višegradska Jevrejka – Lotika Zellermeier. Ova hrabra i preduzimljiva žena, rodom iz Krakova, bila je stvarna istorijska ličnost koja je na trgu pored ćuprije vodila čuveni hotel “Zeleni venac”. Svojom harizmom, inteligencijom i brigom o porodici, Lotika je postala ne samo stub jevrejske zajednice, već i vječna inspiracija Ivi Andriću za glavni ženski lik u romanu “Na Drini ćuprija”.
Prva, stara sinagoga vremenom je postala dotrajala i mala za rastuću zajednicu. Zbog toga se donosi odluka o gradnji novog, velelepnog hrama na naselju Megdan. Nova sinagoga izgrađena je između 1904. i 1905. godine prema nacrtima uglednog arhitekte Kuninga. Građena u modernom stilu sa dva karakteristična tornja (zvonika), u to vrijeme je važila za jednu od najljepših i arhitektonski najskladnijih sinagoga u cijeloj Bosni i Hercegovini, a na njeno svečano osvećenje stigli su delegati iz svih jevrejskih opština u zemlji.
Najteže poglavlje ove priče ispisano je u Drugom svjetskom ratu. Sa ulaskom njemačkih okupacionih snaga u Višegrad, jevrejska zajednica biva gotovo potpuno uništena i odvedena u logore, a njihov hram brutalno opljačkan, devastiran i oskrnavljen. Nacisti su u početku unutrašnjost sinagoge koristili kao vojni magacin za hranu, da bi je u kasnijim fazama rata sramno pretvorili u štalu za konje, čime je uništen veći dio unutrašnjeg sakralnog enterijera.
Nakon 1945. godine, hram više nikada nije vraćen svojoj prvobitnoj namjeni jer u gradu gotovo da nije bilo preživjelih Jevreja. Zgrada biva nacionalizovana i pretvorena u krojačku radionicu, potom je služila za potrebe gradskog arhiva, Crvenog krsta, dok se danas u njoj nalaze prostorije opštinske Boračke organizacije. Iako je spoljašnjost zgrade drastično izmijenjena i izgubila je svoje prepoznatljive tornjeve sa razglednice, autentična metalna ograda iz 1905. godine i spomen-ploča postavljena 2013. godine stoje kao nijemi čuvari sjećanja na narod koji je tkao istoriju Višegrada.