Pravo ime Joea Williamsa je bilo Joseph Goreed. Rodil se je 12. decembra 1918 v ameriški zvezni državi Georgiji. Vzgajali sta ga mama in babica. Z glasbo se je začel ukvarjati, ko je igral na klavir in pel duhovne pesmi v metodistični cerkvi. Ko je bil star štiri leta, se je družina preselila v Chicago, z 12 leti pa je s petjem že služil. Leta 1938 ga je saksofonist Jimmie Noone povabil k sodelovanju z njegovim orkestrom, tako da je nastopal skupaj z Louisom Armstrongom, Fatsom Wallerjem in Colemanom Hawkinsom. Z orkestrom Count Basie, ki se mu je pridružil leta 1954, je oblikoval repertoar, s katerim si je zagotovil priljubljenost.
Med pesmimi, s katerimi je uspel, so bile Five O'Clock in the Morning, Roll 'em Pete, Teach Me Tonight, My Baby Upsets Me in The Comeback.
