Król ufundował dla Esterki dom, który połączony został z zamkiem lochami. Legendy głoszą, że dom dla Esterki został wzniesiony na miejscu gdzie niegdyś znajdowała się drewniana karczma ojca Esterki Mordochaja. Mieszkała w nim podobno Estera z rodziną, bowiem jak mówią legendy związek króla Kazimierza Wielkiego i Estery zaowocował dwoma synami Janem i Pełką Niemirami oraz córkami. 

 

Obecny budynek pochodzi prawdopodobnie z XVI w. na co wskazywałyby wątki murów. Pierwotna budowla zbudowana była z kamienia wapiennego. W czasie swojej wielowiekowej historii dom Esterki ulegał licznym przeróbkom. Rysunek T. Chrząńskiego z lat 40-tych XIX w. Ukazuje jednopiętrowy, częściowo zniszczony budynek. (fot. 27 Opoczno- Dom Esterki w połowie XIX w.) W połowie XIX w. Dom Esterki został ofiarowany przez Ignacego Drużbackiego, sędziego pokoju i dziedzica dóbr Zameczek Radzie Opiekuńczej Zakładów Dobroczynnych Powiatu Opoczyńskiego. Dochód z niego miał być przeznaczony na utrzymanie szpitala św. Władysława. Po odnowieniu dolną część przeznaczono na sklepy, górną na salę zebrań obywatelskich.

 

W czasie powstania styczniowego w piwnicach mieściło się więzienie dla powstańców. Wspomina o nim m. in. Stefan Zeromski w powieści „Wierna rzeka". 

 

W pierwszych latach po odzyskaniu niepodległości po 1918 r. mieściła się w nim siedziba Komendy Wojskowej, potem część oddziałów starostwa opoczyńskiego. W okresie II wojny światowej dom Esterki zajmowały biura Spółdzielni Spożywców „Społem".

 

Dom Esterki został gruntownie odbudowany w 1893 r. i restaurowany w 1927 r. Do dzisiaj zachował nadany mu wówczas wygląd. Obecnie budynek ten ustawiony jest szczytowo do placu Kościuszki. Jest to obiekt murowany, tynkowany, jednopiętrowy. Do jego najstarszych części należą dwa pomieszczenia na parterze o kolebkowym sklepieniu oraz posiadająca kolebkowe sklepienia piwnica. Ponad oknami pierwszego piętra  dojrzeć można fragmenty napisów łacińskich, majuskułowych z XVI w. O treści „Zręczna rada nastąpiła Mąż doskonały służył czasowi Wszystko obiecał poświęcić pracy i Bogu Mąż cierpliwy błądził wygnany z miasta jako pasterz któremu oddano w opiekę rzeczy, (miasto)."  W górnej części frontonu domu Esterki widnieje herb województwa sandomierskiego do którego Opoczno niegdyś należało. Po 1945 r. dom Esterki miał wielu użytkowników. Obecnie mieści się w nim Biblioteka Publiczna im. Stefana Janasa w Opocznie.