Helium Horse Fly est né en mars 2009 à Liège, en Belgique, et est le fruit de la rencontre entre la chanteuse Marie Billy, le guitariste Stéphane Dupont, le bassiste Dimitri Iannello et le batteur Tom Malmendier.
Au printemps 2010, le groupe donne ses premiers concerts et enregistre son premier EP A dispute to redefine clearly frontiers between devils and angels, dont une première sortie digitale a lieu le 19 avril 2010, suivie d'une sortie physique le 31 octobre 2010. Cette sortie est saluée par la presse et le titre Lights se verra lauréat du concours PureDemo organisé par la radio belge PureFM. Son successeur, l'EP Fishing For Ghosts, sortira le 14 décembre 2011 et recevra le même accueil.
Début 2012, Bastien Dupont remplace Tom Malmendier et devient le nouveau batteur du groupe. Le groupe travaille alors sur son premier album éponyme qui sortira le 25 octobre 2013 sur Dipole Experiment Records.
Helium Horse Fly a joué en Belgique et en France (Bruxelles, Liège, Paris, Lille, Besançon, Perpignan...), et a ouvert pour des groupes tels que Black Math Horseman, Uzeda, Overmars, Binaire, Aside From A Day, Generic, Lilly Wood & The Prick, ...