Ковалёв родился 2 марта 1930 года в городе Середина-Буда Черниговской области. В 1954 году окончил биологический факультет Московского государственного университета, учился в аспирантуре. Работал в Институте биофизики Академии наук СССР, был заведующим отделом лаборатории математических методов в биологии.
Организовал в Институте сбор подписей под обращением в защиту Андрея Синявского и Юлия Даниэля, которые были осуждены за антисоветскую агитацию за публикацию своих художественных произведений. С 1968 года стал активным участником движения в защиту прав человека. В мае 1969 года вошел в состав инициативной группы защиты прав человека в СССР, первой независимой общественной правозащитной ассоциации в стране. В том же году был вынужден уйти из МГУ.
С 1971 года Сергей Ковалев — один из основных участников издания "Хроники текущих событий", машинописного информационного бюллетеня советских правозащитников. В декабре 1974 года Ковалев был арестован по обвинению в антисоветской агитации и пропаганде. Был приговорён к семи годам лагерей строгого режима и трём годам ссылки.
Срок отбывал в пермских лагерях и в чистопольской тюрьме, ссылку отбывал на Колыме. Вернуться в Москву по советским законам после этого не мог, жил в Твери (тогда — Калинин). В 1987 году, по рекомендации нобелевского лауреата Андрея Сахарова, стал сопредседателем проектной группы по правам человека при Международном фонде "За выживание и развитие человечества.
Участвовал в создании пресс-клуба "Гласность", в учредительном съезде общества "Мемориал". В 1990 году стал одним из сопредседателем общества "Мемориал"*. Был председателем Комитета по правам человека Верховного совета СССР. Депутатом Государственной думы первых трёх созывов. Первым уполномоченным по правам человека в России. Председателем президентской Комиссии по правам человека.
Играл ведущую роль в разработке второй главы российской конституции "Права и свободы человека и гражданина", а также ряда федеральных законов, затрагивающих проблематику прав человека, - о реабилитации жертв политических репрессий, о чрезвычайном положении, о беженцах и о вынужденных переселенцах.
Был противником войны в Чечне. В 1995 году возглавил группу переговорщиков, которые после неудавшегося штурма спецназа вошли в захваченную Шамилем Басаевым больницу в Будённовске. После достигнутого соглашения о выходе группы Басаева в Чечню, стал одним из их добровольных заложников при отступлении.
Награждён французским Орденом почётного легиона. Большим командорским крестом литовского ордена Великого князя Гядиминаса. Большим Крестом ордена Заслуг перед Республикой Польша. И эстонским Орденом Креста земли Марии.
Был частым гостем эфиров Радио Свобода. "Идея прав человека, как центральная идея строительства современной цивилизации, становится спорной - не только в самой России, но иногда даже на Западе, — отмечал в 2010 году тогдашний директор Русской службы Радио Свобода Ефим Фиштейн. — Принято считать, что слишком пристальное внимание к правозащитной проблематике вытесняет из поля зрения какие-то другие, более прагматичные мотивы политического поведения. И Сергей Адамович сам имел возможность говорить, что он считает принцип так называемой реальной политики, "реал политик", одной из центральных ошибок современности".