C'est dans les heures sombres de l'hiver 2001 que naît The Neo Tabou Project. Des titres enregistrés à cette époque, il ne reste rien, mais la machine est en marche. Emmené par Geoffroy, chanteur multi-instrumentiste, accompagné de Kristov à la batterie et aux lead guitars, la formation enregistre trois full-length demos en deux ans. Quelques concerts acoustiques, durant lesquels ils partagent la scène avec les chanteuses d'Alone in Paris, donnent lieu aux duos Dawn et Immaculate. En 2005, le premier album, Decyphered Days / Apocalypse in a Room, produit et enregistré par Geoffroy, voit le jour. Estampillé Rock'n'Roll expressioniste, l'univers musical oscille entre la chanson mélancolique, le post-rock ou encore la noisy-pop.