Замок спроектировал во времена царствования Екатерины II популярный архитектор своего времени, мастер классицизма И.Е.Старов. Здание имеет довольно оригинальную пятиугольную форму, по углам установлены круглые башни. Здание было возведено в 1798—1799.
Изначально, согласно информации старинного справочника «Петербург в кармане» Алексея Греча (1851г), замок строился для приведения в нем Говардовой тюремной системы. Однако замыслу не суждено было сбыться. В здании разместили Литовский мушкетный полк Русской Императорской армии, откуда и произошло название, а в 1810-е годы уже Гвардейский экипаж.
Значительные метаморфозы здание претерпело в 1823-26 годах, когда было перестроено под здание городской тюрьмы для уголовных преступников по проекту архитектора И.И.Шарлеманя. Во второй половине 19 века в тюрьме содержались политические заключенные, а в начале 20 века - участники рабочего движения.
Другое пугающее предание было связано с установленными на крыше тюремной церкви скульптурами ангелов, несущих кресты. Один из ангелов, по рассказам обывателей, покидал свой «пост» и обходил тюрьму. Арестанты знали: тот, в чью дверь постучится ангел, будет казнен в ту же ночь. Кроме того, скульптуры ангелов были установлены таким образом, что когда заключённые впервые выходили во двор им казалось, что Ангел едва выдерживает тяжесть креста. Заключенные верили в то, что когда ангел уронит свой крест, все будут освобождены.
Среди знаменитых заключенных Литовского замка писатель народник В.Г. Короленко, арестованный в 1879 за связь с народниками и распространение прокламаций, а также писатель А.И.Куприн.
В дни февральской революции в 1917 году площадь перед Литовским замком стала местом демонстраций. В итоге замок был сожжен восставшими рабочими и революционными солдатами, а заключенные были освобождены. Долгое время сожженные стены замка не убирались, напоминая о революционных событиях, пока в 1930-х годах не началось строительство на этом месте жилых домов, которые стоят на улице в настоящее время.
