Au xixe siècle, Genève se développe de manière importante : de 64 000 habitants en 1850, elle passe à plus de 100 000 en 1890. Le besoin d'eau est impératif, tant pour l'industrie en développement que pour les habitants.

La ville décide donc la construction d'une usine hydraulique à la Coulouvrenière qui est mise en service le 17 mai 1886. Elle a pour mission de distribuer la force motrice du Rhône aux artisans genevois. Le soir, quand ces artisans arrêtent leurs machines, il se produit des surpressions. Les machinistes de la Coulouvrenière doivent se précipiter pour arrêter les pompes, car ils ne peuvent prévoir à quel moment exact la surpression se produit. C'est alors qu'on a l'idée de créer un débit supplémentaire, grâce à une vanne de sécurité, qui permet de contrôler la pression en laissant s'échapper vers le ciel l'eau en surpression2.

Le premier jet d'eau, d'une hauteur de 30 mètres, vient de naître. Il est situé à l'extrémité de l'usine de la Coulouvrenière. Cependant, dès 1889, la fonction de soupape de sécurité revient au réservoir de Bessinge, proche de Cologny3.

En juillet 1891, à l’occasion des 600 ans de la Confédération suisse, le Conseil administratif de Genève, conscient de l'intérêt esthétique et touristique décide de le recréer au bout de la jetée des Eaux-Vives, au cœur de la rade. Le nouveau jet d'eau, culminant alors à 90 mètres, est inauguré lors de la fête fédérale de gymnastique et mis en lumière le 2 août de la même année. Il était alors composé d'un puissant jet central et de quatre petits jets disposés en éventail qui furent par la suite supprimés. Ce nouveau jet d'eau ne fonctionnait que le dimanche. Il a été illuminé dès 1891 par des projecteurs installés sur un radeau dans la rade. Le jaune, le vert, le violet, le rouge et le blanc ont successivement habillé le jet d'eau et c'est finalement cette dernière couleur qui a été retenue, jugée alors la plus spectaculaire. L'éclairage est arrêté en 1931, les quais étant devenus trop lumineux pour que l'effet des projecteurs sur le jet d'eau soit remarquable. En 1906 sont installés deux groupes de moto-pompes à l'usine des Forces motrices qui permettent d'alimenter en eau toute la semaine le jet d'eau.

Dans les années 1930 est avancée l'idée de construire une station de pompage indépendante, le jet d'eau étant alors raccordé au réseau d'eau potable. Les plans détaillés de l'actuel jet d'eau furent établis en 1947 et acceptés en 1948. Les coûts furent partagés entre les Services industriels et le Conseil administratif de Genève. Les travaux commencèrent en 1950 et le premier essai fut mené à bien le 28 avril 1951. L'inauguration eut lieu le 3 mai de la même année. Une station de pompage autonome, partiellement immergée et utilisant l'eau du lac Léman, lui permet de fonctionner toute l'année.

Jusqu'en 2003, le jet d'eau est arrêté chaque année pour maintenance le deuxième dimanche du mois d'octobre et est remis en marche au mois de mars suivant, à l'occasion de l'ouverture du Salon international de l'automobile4. Il est exceptionnellement mis en fonction lors d’évènements particuliers comme lors de la première rencontre entre le président américain Ronald Reagan et son homologue soviétique Mikhaïl Gorbatchev à l'occasion de la conférence sur le désarmement en 1985 à Genève.

Depuis 2003, le jet d'eau fonctionne toute l'année5. En 2014, le jet d'eau était actif entre le 05 mai et le 14 septembre6.

La couleur blanche de son panache est due à une buse qui remplit de bulles d'air l'eau projetée par la tuyère de 16 cm de diamètre.

Le 15 novembre 2015, le jet d'eau s'est paré des couleurs du drapeau tricolore français pour commémorer les attentats de Paris du 13 novembre 20157.