Kaznionica Istočne države možda ima protestantske korijene, ali imala je i židovsku sinagogu koja je, zajedno sa svojom bogatom poviješću, otkrivena javnosti na ograničeno razdoblje u travnju 2008. godine.
Iako populacija židovskih zatvora nikada nije brojala više od 80 odjednom, u kaznionici je bila snažna židovska prisutnost koja datira iz 1845. Lokalni rabini dolazili su savjetovati zatvorenike i pružati vjerska čitanja.
Do ranih 1920-ih, nakon što je Pennsylvania sustav izolacije napušten, Alfred Fleisher, tadašnji predsjednik skrbničkog odbora zatvora, zalagao se za izgradnju sinagoge kako bi se bolje prilagodile potrebama židovskih zatvorenika. Zatvorenici i lokalni volonteri namjeravali su sagraditi vjerski centar u bivšim dvorištima mostova sedam.
Bio je to ukrašen prostor, s ukrašenim stropom i crvenim popločanim podom. Klupe su obložile zidove dok je čitateljski stol i drveni Torah Ark ispunjavali sobu. Fleisher se logorašima pridružio za svaku službu u sinagogi sve do njegove smrti 1928. Kasnije te godine sinagoga je bila posvećena Fleisheru i u njegovo sjećanje podignuta je brončana ploča.
Ostali upamćeni polaznici sinagoge bili su Joseph Paull, poznati židovski snažnik koji je Fleisher 1923. godine pozvao da zabavi logoraše svojim pohodima snage. Paull je razvio vrlo dobar odnos sa zatvorenicima, vraćajući se za usluge i opskrbljujući zatvor hranom iz svoje košerarske mesnice. Kasnije je, naučivši poteškoće s kojima su se susretali neki zatvorenici - mogli su dobiti uvjetnu slobodu, ali nisu mogli biti pušteni jer nisu osigurali zaposlenje - stvorio je program koji je zatvorenicima odgovarao poslodavcima. Paull bi i dalje bio vjeran pobornik zatvorske zajednice sve do svoje smrti 1966. godine.
Službe u sinagogi nastavile su se do zatvaranja zatvora 1971. Napuštene naredne 33 godine, zapale bi u veliko stanje nereda. Kameni zidovi koji vode do ulaza u sinagogu srušili su se, što im ometa pristup, a dijelovi stropa od gipsa pali su od propadanja uslijed oštećenja vode. Godine 2004. studentica Sveučilišta Pennsylvania Laura Mass istraživala je kaznionicu na svom diplomskom studiju povijesnog očuvanja, pokušala je otkriti zaboravljenu kuću za bogoslužje ispod ruševina.
Tijekom iskopavanja, Mass je pronašao ostatke stropa od ukrasne žbuke, stranice blagdanske pjesme s pjesmama i dijelove Davidove zvijezde. Ova otkrića ohrabrila su povijesno nalazište Istočne državne kaznionice da uspostavi odbor za obnovu sinagoge. Danas se rekonstrukcija sinagoge Alfred W. Fleisher i dalje nastavlja, a očekuje se da se pridruži javnom obilasku kaznionice u listopadu 2009. godine.
Sinagoga je 1995. godine prije čišćenja. (Greg Brooks) 
"Izgubljena sinagoga" u kaznionici u Istočnoj državi. (Povijesno nalazište istočne državne kaznionice) 
"Izgubljena sinagoga" u kaznionici u Istočnoj državi. (Povijesno nalazište istočne državne kaznionice)
