Rubial se je rodil leta 1906 v Bilbau. V socialistično stranko je vstopil v 20. letih. S 14 leti je začel delati v železarstvu in se pozneje včlanil v socialistični sindikat. Zaradi svojih aktivnosti v politiki in sindikatu je bil v 30. letih večkrat aretiran.
Med špansko državljansko vojno se je pridružil republikanskim enotam in pod vladavino generala Franca v zaporih prebil skupno dvajset let. Leta 1974 se je v bližini Pariza udeležil kongresa, po katerem je na čelo španske socialistične stranke prišla nova generacija voditeljev. Od leta 1976 je predsednik izvršilnega odbora socialistične stranke, od leta 1977 pa tudi senator Baskije.
