Flemming Knudsen er opvokset i Århus, hvor han gik på Rosenvangskolen i Viby. Herefter blev han uddannet folkeskolelærer fra Marselisborg Seminarium. Han har arbejdet på Vestergårdskolen i Viby og Næshæjskolen i Harlev, inden hans politiske karriere begyndte i 1993.
Flemming Knudsen har været rådmand, borgmester og viceborgmester i Århus Kommune. I skrivende stund er han rådmand for Magistratsafdelingen for Kultur og Borgerservice i Århus Kommune. Her forventes han at træde tilbage i februar 2009. Flemming Knudsen sidder desuden i Aarhus Teaters bestyrelse.
Flemming Knudsen var aktiv i idrætsforeningen AIA-Tranbjerg i 30 år, hvor han både var træner og idrætsleder. I 12 år var han bestyrelsesmedlem i håndboldafdelingen, i otte år var han håndboldformand, og i to år var han hovedformand.