Jis turi keturis suaugusius vaikus su savo ilgamete partnere Ségolène Royal, kuri 2007-aisiais kandidatavo į prezidentus, o vėliau buvo ministrė. Su ja išsiskyręs, F. Hollande‘as artimai bendravo su žurnaliste Valérie Trierweiler, kuri jam laimėjus prezidento rinkimus kartu apsigyveno Eliziejaus rūmuose ir ėjo Prancūzijos pirmosios ponios pareigas.
Kai 2014 metais išaiškėjo slaptas F. Hollande‘o ryšys su J. Gayet, jo ryšys su V. Trierweiler nutrūko. Prezidento meilės romanas su aktore daug savaičių maitino šalies bulvarinę spaudą.
Tai nebuvo pirmas kartas, kai pareigas einantis Prancūzijos prezidentas išsiskiria su savo partnere. Prieš tai taip pasielgė Nicolas‘as Sarkozy, vedęs atlikėją Carlą Bruni. François‘as Mitterrand‘as turėjo antrą šeimą, kuri buvo išlaikoma valstybės lėšomis, tačiau apie kurią oficialiai nebuvo kalbama.
J. Gayet, kuriai prieš pat vestuves suėjo 50 metų, turi du sūnus iš pirmosios santuokos. Tarp vestuvių svečių buvo atlikėjas Benjaminas Biolay, kuris su J. Gayet vaidino viename filme.