Значительную часть работ Хволеса (1913–2002) музею подарили сыновья художника Милий и Александр, которые живут в Париже.
Они передали в музей не только картины, но и личные вещи своего отца, его книги.
Милий сказал, что не уверен в том, что его покойный отец одобрил бы открытие музея своего имени в Вильнюсе, поскольку у него с этим городом были связаны неприятные воспоминания: здесь он потерял семью, первую жену, лишился почти всего, что у него было.
Милий сказал, что хочет, чтобы творчество отца экспонировалось: "Было бы печально, если бы работы такого мастера остались без зрителей".
Музей Хволеса находится на 4 этаже Музея евреев. Хволес - классик модернизма, который долгое время жил и работал во Франции.
В июне 1941 года Хволес находился в Минске, оттуда успел эвакуироваться в Россию, его беременная жена Марианна была схвачена нацистами по дороге из Вильнюса в Минск и погибла.
После войны Хволес вернулся в родной Вильнюс, здесь узнал о трагедии своей семьи - погибли также родители и три сестры Рафаэля, еще двум сестрам удалось выжить. Хволес писал послевоенный Вильнюс. В 1945–1947 гг создал самую известную серию картин "Вильнюсское гетто". Его картины шли вразрез с идеологией сталинского периода. В Вильнюсе не было ни одной выставки его картин.
Сестры Хволеса уехали в Израиль. Он со второй женой и двумя сыновьями в 1959 г. эмигрировал в Польшу.
Родной город навсегда остался в сердце Хволеса, даже в эмиграции он не переставал писать Вильнюс.
После 1967 г. семья уехала из Варшавы в Париж. В Париже он жил до самой смерти в 2002 году.