A Cleveland, il tenta, vainement, de se faire accepter en « freedonnant » à travers tous les clubs de la ville.
Vers la fin de l’année 1964, il reprit le chemin de New York avec son frère, Don, après l’avoir initié à la trompette.
À New York, selon Jeff Schwartz, auteur du « Albert Ayler: Sa vie et sa musique », Albert fit la rencontre d’une jeune femme, Mary Parks, qui devînt son amante, sa compagne régulière, sa collaboratrice et directrice commerciale. Schwartz rapporte dans son livre les propos de Mary Parks : « si je puis dire, j’étais la source d’inspiration continuelle d’Albert, surtout quand il a eu besoin de méditation. »
En août de 1968, Albert Ayler avait à son actif plusieurs disques et jouait à New York avec son groupe régulier composé du pianiste Call Cobbs, du contrebassiste Bill Fowell et batteur Beaver Harris. En revanche, son frère, Don, ne faisait plus parti du groupe. Donald Ayler affirma plus tard qu’il avait quitté le groupe en raison de l’influence croissante de Mary Parks sur la musique et la vie de son frère ainé.
Le 25 novembre 1970, le corps d’Albert Ayler était retiré d’East River (fleuve) à New York.
Une mort mystérieuse
Les années passant, toutes les thèses y sont passées pour expliquer la mort mystérieuse d’Albert Ayler. Certains ont avancé que la police lui a tiré une balle dans la tête. D’autres ont pointé du doigt le FBI soupçonnée de pratiquer une politique d’extermination de toutes les figures marquantes de la communauté Noire (Malcom X, John Hendrix, Eric Dolphy, John Coltrane…). D’autres encore ont accusé le « Black Power » de l’avoir assassiné , parce qu’il ne supportait pas leur cause. Sans oublier ceux qui ont soutenu qu’il avait été tué par la Mafia (son corps aurait été découvert, ligoté à un jukebox) du fait de son refus de jouer du Rock’n’roll.