Der gebürtige Karlsruher blieb seiner Heimatstadt zeitlebens treu. Bereits als Elfjähriger begann Rihm mit dem Komponieren. Er studierte - zunächst parallel zur Schule - Komposition in Karlsruhe bei Eugen Werner Velte, wechselte später nach Köln zu Karlheinz Stockhausen und anschließend nach Freiburg.

Seinen künstlerischen Durchbruch hatte Rihm 1974 bei den Donaueschinger Musiktagen. 1985 wurde er als Nachfolger seines Lehrers Velte Professor für Komposition an der Karlsruher Musikhochschule.

Rihm schrieb für unterschiedliche Formate und Besetzungen: Kammermusik, Lieder, Solokonzerte, großformatige Orchesterwerke und Musiktheater. Zu den bekannten Werken zählen etwa "Die Hamletmaschine", "Jakob Lenz", "Dionysos", "Sub-Kontur" oder "Jagden und Formen" sowie zahlreiche Lieder. Für die Eröffnung der Hamburger Elbphilharmonie 2017 schrieb Rihm eine Auftragskomposition.

Zu den zahlreichen Ehrungen, die Rihm im Laufe seines Lebens erhielt, gehörten die Ehrendoktorwürde der Freien Universität Berlin (1998) sowie der französische Orden "Officier dans l'Ordre des Arts et des Lettres" (2001). Außerdem zählten unter anderem dazu: der Rolf-Liebermann-Preis, der Preis der Europäischen Kirchenmusik und der Stiftungspreis der ökumenischen Stiftung Bibel und Kultur. Die Berliner Philharmoniker wollen Rihm und seine Werken mit einer sogenannten Composer-in-Residency in der bevorstehenden Saison 2024/25 ehren.

Kulturstaatsministerin Roth sagte, Rihm habe von Widerständen und Kritik unbeeindruckt eine eigene Ästhetik entwickelt und über Jahrzehnte hinweg ein ebenso umfangreiches wie vielseitiges Werk geschaffen. "Wir verlieren eine wahre Institution der Musikwelt“, betonte die Grünen-Politikerin.

Die Vorstandsvorsitzende des Wiener Verlags Universal Edition, Koblanck, bezeichnete Rihm als "wichtige Schlüsselfigur" der zeitgenössischen Musikwelt. "Persönlich berührten mich insbesondere die wunderbaren und von Humor geprägten Gespräche mit diesem eloquenten Universalgelehrten, der bis zuletzt ein tiefes Interesse an seinen Mitmenschen zeigte und sich stets der eigenen Vorbildwirkung sowie der kulturpolitischen Verantwortung bewusst war."