Muzyczna kariera Bustera Williamsa rozpoczęła się na początku lat 60., gdy twardy jazzowy kanon zaczął powoli się łamać, a tacy artyści jak John Coltrane czy Ornette Coleman wyszli w stronę eksperymentu, później nazwanego free jazzem. Basista grywał w tych latach między innymi z saksofonistą Jymmym Heathem oraz kwintetem Sonny'ego Stitta i Gene'a Ammonsa.
Talent Williamsa eksplodował kilka lat później, przy współpracy z wielkim Milesem Davisem, a szczególnie dzięki nagraniom z kolejnym gigantem Herbiem Hancockiem. To wtedy okazało się, że w grze basisty słychać wielkie wyczucie rytmu i oryginalne brzmienie.