Ульяна была ревностной христианкой и распространяла православие в Великом княжестве Литовском. Когда в Витебск примерно в 1350 г. приехала бывшая тверская княжна, она решительно взялась за укрепление и украшение города. Замки, что должны были возводить по указу Альгирдаса, были построены уже в 1351 г., и в течение трёхсот лет верно служили защите Витебска, бывшего в составе Великого княжества Литовского.
Под прикрытием стен в Нижнем замке начали мостить улицы, строить первые, ещё деревянные дворцы. Ульяна основала первый женский монастырь, церковь Богоявления, обновила Михайловскую, самую старую княжескую церковь Витебска, обновила и украсила Благовещенскую церковь, в которой когда-то хранились портреты Альгирдаса и Ульяны.
Ульяна также основала Троицкую, Пречистенскую церковь (по преданию, начата ещё в 1346 г.) и перестроила деревянную Никольскую церковь в Вильнюсе в каменный храм. Кроме того, при её поддержке был построен православный храм в Тракай.
После смерти мужа в 1377 г. и второго прихода к власти в 1382 г. Ягайло Ульяна участвовала в организации литовско-московского союза. Она планировала династический брак Ягайло с сестрой Дмитрия Донского и выдвигала проект православного крещения древней Литвы. Однако после католического крещения сына Ягайлы в 1387 г., она была вынуждена окончательно устраниться от общественной жизни в столице.
Ещё в 1383 г. Ульяна уехала в Витебск, который стал для неё своего рода местом политической ссылки. «Хроника Литвы и Жемайтии» приписывает ей строительство каменного замка в Витебске. Здесь она постриглась в монахини в основанном ею монастыре под именем Марины (Марфы) и, согласно новым данным, умерла в 1399 г., а не в 1392 г.