Après trois mois d’enthousiasme musical mais de marasme financier, il revient à La Nouvelle Orléans et travaille dans le motel de son père.
Mobilisé dans la marine, en Californie, il devient le pianiste de The Corp Four et participe à une émission de télévision avec le pianiste Calvin Jackson. Son service terminé, il joue à La nouvelle Orléans, avec Marshall Smith et James Black, au Playboy Club du French Quartier. Augmenté de Perrilliat, le groupe connait localement un certain succès et se produit dans le motel paternel. Premiers enregistrements au début des années 60, grâce à l’association AFO (All For One) créée par Harold Battiste.
Il commence à enseigner au New Orléans Center for the Creative Arts, tout en continuant à se produire localement, notamment avec le trompettiste Al Hirt (1967), et à accompagner les vedettes de passage, notamment les frères Adderley. Il sera aussi, avec l’orchestre symphonique de la Nouvelle-Orleans, le pianiste soliste de la Rhapsody In Blues de Gershwin.
Mais c’est seulement à la fin des 70, sous l’effet paradoxal de la célébrité médiatique de son fils Wynton, que son nom devient connu hors de La Nouvelle-Orléans et du milieu des musiciens et, bientôt, hors des Etas unis d’Amérique.
Quatre des six fils du patriarche du jazz New-Orleanais sont musiciens: Wynton, le trompettiste, est le plus éminent porte-parole du jazz américain en tant que directeur artistique du Jazz au Lincoln Center de New York. Branford, le saxophoniste, a dirigé le groupe The Tonight Show et a fait une tournée avec Sting. Delfeayo, tromboniste, est un producteur et interprète de premier plan. Et Jason, le batteur, s’est fait un nom avec son propre groupe et en tant qu’accompagnateur. Ellis III, qui a décidé que la musique n’était pas « sa tasse de thé », est photographe-poète à Baltimore.
