Het bouwjaar van het gebouw van het centrum is niet zo eenvoudig aan te geven, te meer niet omdat het uit verschillende gebouwen bestaat. In elk geval behoort het zuidelijke trapgeveltje van Roggestraat 3 tot de oudste bakstenen overblijfselen in het Bergkwartier: het wordt eind 13e of begin 14e eeuw gedateerd. In 1471 werd in deze omgeving een gasthuis voor arme mannen en vrouwen gebouwd door een rijke Deventenaar, Geert Hakesberch. Later stond het bekend onder de naam Voorster Gasthuis, naar de heren van Voorst, die misschien in de Golstraat een huis hadden en in de Smedenstraat een hofstede. Het huis begon aan Brink 18-19 (tussen Luxor en de voormalige synagoge aan de Golstraat) en breidde zich enige jaren later uit in de Golstraat en Roggestraat. Daar hoorden ook de panden van het tegenwoordige Etty Hillesum Centrum bij.

In die periode kregen de beide trapgevels hun tegenwoordige vorm. De noordelijke kwam rond 1918-1920 weer tevoorschijn toen het pand op de hoek van de Roggestraat werd afgebroken om plaats te maken voor het bioscooptheater Luxor. Ook in de 15e eeuw had het St.-Anthonisgilde een armenhuisje naast het Voorster Gasthuis maar dat werd later (in 1584) afgebroken omdat het geld van het gilde op was. In 1691 werden de bewoners van het gasthuis overgebracht naar het  voormalige Meester Geertshuis (dit huis had Geert Grote ooit aan Zusters des Gemenen Levens geschonken) aan de Smedenstraat, waar sinds 1648 ook al het Heilige Geest Gasthuis was ondergebracht en dat sindsdien het Grote Gasthuis heette. Na de opheffing van het gasthuis is het gebouwencomplex in vier percelen verkocht. Wat er precies mee gebeurd is, weten wij niet , maar tenminste een deel ervan was omstreeks het midden van de 18e eigendom van de wijnhandelaar Schimmelpenninck  (van het Schimmelpenninckhuis aan de Brink). Gedurende meer dan 150 jaar gebruikte deze familie deze bezittingen (gedeeltelijk) als wijnpakhuis.

In 1798 verkochten zij Brink 18-19 aan de kersverse joodse gemeente, die het pand nog datzelfde jaar als synagoge en gemeentelokaal in gebruik heeft genomen. Waarschijnlijk is bij diezelfde gelegenheid het perceel Roggestraat 5 verworven. Op dit perceel werd al heel snel begonnen met de bouw (verbouwing of nieuwbouw, dat is niet duidelijk) van een nieuwe synagoge. Deze werd in 1809 ingewijd en bood plaats aan 200 gemeenteleden. Het gebouw van het Etty Hillesum Centrum is dus de tweede sjoel in Deventer.

In 1891 kocht de joodse gemeente opnieuw twee panden van de familie Schimmelpenninck, een woonhuis en een pakhuis (de voormalige gasthuiskapel) aan de Golstraat om hier een nieuwe synagoge te bouwen. Deze kon al in 1892 worden ingewijd en het oude sjoeltje werd opgeheven. Roggestraat 3 en 5 werden omgebouwd tot een godsdienstschool met twee leslokalen. In 1897 was het zover en kon de school van Golstraat 47 (aldaar in 1864 gevestigd) verhuizen naar het nieuwe gebouw.

Na de Tweede Wereldoorlog was de joodse gemeenschap gedecimeerd. Het godsdienstschooltje kon niet worden gehandhaafd. Het gebouw werd door de kerkenraad verhuurd en onder meer gebruikt als speelgoedwerkplaats, bretellenatelier, kantoor en opslag van ‘confectie-textielen’. In 1951 werd besloten het schooltje en de grote sjoel aan de Golstraat te verkopen; de gemeente was niet draagkrachtig genoeg meer om de gebouwen te onderhouden. De voormalige school werd magazijn van de klokkenwinkel Hannink. In 1971 werd het verbouwd tot een tweede bioscoopzaaltje van het Luxortheater, van 1984 tot 1995 was hier het Filmhuis gevestigd en vanaf 1996 bood het onderdak aan het Etty Hillesum Centrum. Sindsdien is er veel aan het gebouw veranderd. De bioscoopzaal werd afgebroken, de vensters van de oude sjoel kwamen weer tevoorschijn en uit de tijd van de sjoel drie deuren en aan de noordzijde bleken drie deuren uit de tijd van de school bewaard te zijn gebleven: één leidde naar de binnenplaats, de andere twee naar de toenmalige toiletten. De muurschildering van Pim van Pagée op de buitenmuur is overgebracht naar het Filmhuis aan de Keizerstraat. Het balkon achterin de zaal is nieuw en herbergt een documentatiecentrum. Bij de bepleistering van de binnenmuren is een gedeelte overgeslagen om te herinneren aan de verwoesting van de Tempel in Jeruzalem.