Der Entwicklung der Wärmepumpe nahm Anfang des 19. Jahrhunderts ihren Lauf.
Der französische Physiker Sadi Carnot hat 1824 den zweiten Hauptsatz der Thermodynamik beschrieben und mit dem Begriff der „Irreversibilität“ den Kreisprozess einer thermodynamischen Maschine für die Erzeugung mechanischer Arbeit aufgezeigt.
Zehn Jahre später baute der Amerikaner Jacob Perkins die erste Kompressionskältemaschine. 1852 wies der englische Physiker Lord Kelvin (William Thomson) nach, dass Kältemaschinen mit Hilfe eines thermodynamischen Kreisprozesses auch zum Heizen verwendet werden können. Er konnte zeigen, dass mit einer Wärmepumpe weniger Primärenergie benötigt wird als zum unmittelbaren Heizen. Der Energiegewinn ergab sich aus der aus der Umgebung aufgenommenen Wärmenergie aus Luft, Wasser und/oder Erde.
In der zweiten Hälfte des 19. Jahrhunderts wurden die gebauten Kältemaschinen zur Eisherstellung, in der Lebensmittelindustrie und in Bierbrauereien eingesetzt.
Die Kältemaschinen gingen nach dem Ersten Weltkrieg als Kühlschränke in den Privathaushalten in den täglichen Einsatz.
Zu dieser Zeit bildete sich auch der Begriff „Wärmepumpe“ nach einem 1920 erschienen Aufsatz von G. Flügel, einem Deutschen, zur Wärmepumpe und den damit verbunden Anwendungen heraus.
In Europa wurde bereits 1928 als eine der ältesten Wärmepumpenanlagen die Technik zur Erwärmung eines Schwimmbades in Haldane in Großbritannien genutzt.
Die ersten umfangreicheren Anwendungen zum Heizen gingen nach der Weltwirtschaftskrise 1929 an den Anschluss. Im Zweiten Weltkrieg entwickelten die Schweizer aufgrund stockender Öl- und Kohleimporte effiziente Wärmepumpen und nutzten in Zürich zur Gebäudeheizung als auch teilweise zur Klimatisierung Wärmepumpen im Rathaus, im Kongresshaus, in einem Hallenbad, im Fernheizwerk der ETH und in weiteren Amtshäusern.

Das Zürcher Rathaus, das seit 1938 mit einer Wärmepumpe beheizt wird.
Die Wärmepumpe, die als Wärmequelle das Erdreich nutzte, ging 1945 erstmals in den USA in Betrieb. Die Entwicklung in den Vereinigten Staaten zeigte immer eine Kopplung der Wärmepumpen zur Klimatisierung im Sommer und zur Heizung im Winter.
In Deutschland wiederum wurden in den 1950er Jahren erste Wärmepumpen vorgestellt, die ihren Durchbruch aber erst in den 1970er Jahren aufgrund der Ölkrise hatten. Vor der Ölkrise wurden die Wärmepumpen zur Kühlung von Milch in landwirtschaftlichen Betrieben und zur Warmwasseraufbereitung verwendet. Ebenso wurden erste Schwimmbäder mit dieser Technik ausgestattet und die Industrie und größere Objekte nutzten Wärmepumpen zur Wärmerückgewinnung. Mit der Ölkrise und dem zweiten Ölschock 1979/1980 wurden alternative Ressourcen, die unabhängig von Importen aus dem Ausland und der Preisentwicklung am Weltmarkt waren, staatlich gefördert. Der Markt für Wärmepumpen wurde dadurch belebt. Der Ölpreis normalisierte sich in der Mitte der 1980er Jahre und der Bedarf zur Wärmepumpentechnik wurde zurückgefahren. Erst mit Mitte der 1990er Jahren und dem erneuten Anstieg der Ölpreise gab es eine Rückbesinnung auf die Technik.
Der wachsende Öl- und Energiehunger der Schwellerländer, die (gefühlte) Knappheit dieser Ressourcen und ihrer Erschließung sowie die drastisch steigende Preisentwicklung in den letzten Jahren wird den Wärmepumpenmarkt weiter antreiben und die Technik – obwohl schon sehr effizient – verfeinern.
