Wilson se je rodil v Norfolku v Virginiji in odrasel na kmetiji. Ko so leta 1934 ustanovili skupino Golden Gate, je pel bas, kasneje pa je več let deloval kot dirigent kvarteta. S kvartetom Golden Gate je leta 1936 odšel na prvo turnejo, pet let kasneje pa so člani kvarteta kot prvi temnopolti pevci nastopili v dvorani Constitution Hall v Washingtonu. Na prvo evropsko turnejo se je skupina odpravila leta 1955, štiri leta pozneje pa se je četverica preselila v Evropo.
Golden Gate Quartet so prepevali predvsem verske pesmi, gospele in črnske duhovne pesmi.