Seine politische Karriere begann Gerhardt in der hessischen Heimat. Dort gehörte er von 1978 bis 1994 dem Landtag an und wurde 1987 Wirtschaftsminister und stellvertretender Ministerpräsident. Anschließend zog er in den Bundestag ein. Vor der Bundestagswahl 2002 galt Gerhardt als möglicher Kandidat für den Posten des Außenministers, es kam jedoch nicht zur einer dafür nötigen Mehrheit von CDU und FDP. Seine Führungsposten gab Gerhardt jeweils an Guido Westerwelle ab. Bis 2013 gehörte Gerhardt noch dem Bundestag an.

FDP-Chef Lindner erklärte, Gerhardt habe sich fast 60 Jahre für eine freie und starke Gesellschaft eingesetzt. Insbesondere faire Bildungschancen seien ihm ein Herzensanliegen gewesen, Gerhardt sei zudem nie ein Machtpolitiker gewesen, betonte Lindner. In Spitzenpositionen sei er ein belesener, feiner und großzügiger Mensch geblieben. Er habe die FDP in einer schwierigen Phase ihrer Geschichte zusammengehalten und wieder aufgerichtet - deshalb sei sie ihm zu Dank verpflichtet.

Bundespräsident Steinmeier würdigte den den verstorbenen früheren FDP-Vorsitzenden als eine der prägenden politischen Persönlichkeiten Deutschlands. Gerhardt habe zu jenen Menschen gehört, die ihr Leben der Politik gewidmet hätten, heißt es in einem Kondolenzschreiben Steinmeiers. In Hessen und später über viele Jahrzehnte im Bund habe sich der überzeugte Liberale in den Dienst Deutschlands gestellt.