Sa dette épongée, Johnny Dyani quitta le « Chris McGregor Sextet » en 1968 et commença à collaborer ponctuellement avec d’autres musiciens londoniens. Durant cette période, il joua aux côtés de musiciens célèbres tels que Leo Smith, Evan Parker, Derek Bailey et John Stevens.
Insatiable Johnny Dyani ne restait jamais plus de deux ans au même endroit : exilé trop jeune, son âme agitée aspirait à retrouver ses racines et sa source d’inspiration.
En 1969, Johnny Dyani s’établit en Suède où il rencontra le trompettiste avant-gardiste, Don Cherry, avec lequel il collabora jusqu’à l’été 1971. Concomitamment, il s’associa à Okay Temiz, un percussionniste turc, pour former le trio « Eternal Ethnic Sound ».
Durant l’hiver 1969 et début 1970, Johnny Dyani fut artiste en résidence au Dartmouth College, une université réputée pour sa formation de brillants esprits. Cette résidence lui permit non seulement de réfléchir à ses idées, mais aussi d’analyser l’apport de la Musique Africaine. Il en vint à une conclusion amère : « En Europe, on admire tellement les Américains, mais ils nous copient, nous autres Sud-Africains. Tout vient d’Afrique, mais les musiciens Africains manquent de confiance en eux et de force intérieure. Ils se laissent exploiter. »
En 1972, Johnny s’installa au Danemark, où vivaient ses compatriotes, Mongezi Feza et Dollar Brand. Ce dernier s’était récemment converti à l’islam, avait changé son nom en Abdullah Ibrahim et avait réussi à convaincre Johnny de faire de même. L’islam considère l’alcool et les drogues comme abominables et impurs, les qualifiant de haram. Se convertir à l’islam implique donc de s’abstenir de ces substances et de dissuader autrui d’en consommer. Ce ne fut pas le cas pour Johnny : il lutta, vainement, contre la toxicomanie et l’alcoolisme pendant de nombreuses années après sa conversion.
