Сергей Щербаков родился в 1918 году в Москве. После школы пошёл работать токарем на завод «Авиахим», во дворце спорта «Крылья советов» при заводе занялся акробатикой, получил 1-й разряд.
Под влиянием брата Александра бросил акробатику и в 18 лет занялся боксом. В 1939 году занял 3-е место на чемпионате СССР, в 1940 - 2-е. С началом Великой Отечественной войны пошёл добровольцем через спортивное общество «Динамо». В ОМСБОН с 7 июля 1941 года, в ходе диверсионных операций в тылу врага получил два тяжёлых ранения, одно из которых чуть не привело к ампутации ноги (Щербаков упросил хирурга не отрезать ему раненую ногу ниже колена, мотивируя тем, что бокс для него - это всё).
В 1943 году заместитель политрука батальона особого назначения Щербаков Сергей награждён медалью «За боевые заслуги» за подрыв коммуникаций в тылу противника, ранение и организацию взятия высоты.
Приказом ОМСБОН НКВД № 101 от 13.03.1943 года красноармеец Щербаков награждён медалью «За отвагу» за уничтожение поезда из 27 вагонов, доставку продуктов питания в отряд в тылу противника и вынос на себе раненого товарища Несынова через линию фронта.
В 1944 году состоялся 10-й чемпионат СССР по боксу. Едва выйдя из госпиталя, Сергей Щербаков принял участие в чемпионате и завоевал титул чемпиона СССР в полусреднем весе, который удерживал вплоть по 1953 года. Чемпион СССР в 1944 - 1950 годах в полусреднем весе, в 1951-1953 годах - во втором полусреднем весе.
В 1952 году завоевал серебряную медаль на Олимпийских играх в Хельсинки (поражение в финале от поляка Зыгмунта Хыхлы), в 1953 году - серебряную медаль чемпионата Европы во втором полусреднем весе.
Тренером Сергея Щербакова был известный боксёр, первый заслуженный мастер спорта СССР по боксу Виктор Михайлов.
Затем перешёл на тренерскую работу, сразу получив должность Главного тренера СССР, возглавлял сборные СССР на Олимпийских играх 1956 года в Мельбурне и 1960 года в Риме.
В 1985 году награждён орденом Отечественной войны 1-й степени.