Leta 1952 je Golob začel delati na zunanjem ministrstvu tedanje Jugoslavije in je bil med drugim sekretar na veleposlaništvu v Pekingu ter veleposlanik v Mehiki, Kostariki, Hondurasu in Panami. Med leti 1982 in 1986 je bil stalni predstavnik SFRJ pri Združenih narodih v New Yorku. Od leta 1981 do leta 1991 je bil član Svetovalnega odbora generalnega sekretarja ZN za razorožitvena vprašanja, bil je tudi predsednik skupine G-77 in član odbora direktorjev na Inštitutu za vzhodno-zahodne varnostne študije v New Yorku.
Leta 1991 je odstopil s položaja jugoslovanskega veleposlanika v Mehiki, Hondurasu in Gvatemali ter izstopil iz ministrstva za zunanje zadeve SFRJ. V letih 1991 in 1992 je delal kot dopisnik časnika Dnevnik iz ZN, hkrati pa je deloval kot neuradni predstavnik Republike Slovenije pri ZN. V tem času je zaradi svojih številnih stikov in osebnih poznanstev pomembno prispeval k priznanju neodvisne Slovenije.
Leta 1993 je postal državni sekretar na slovenskem zunanjem ministrstvu in je med drugim vodil slovenske delegacije na številnih mednarodnih srečanjih. Med leti 1995 in 1997 je bil predsednik medresorske delovne skupine za odnose z zvezo Nato, leta 1993 pa je vodil slovensko delegacijo na preliminarnih pogajanjih o pridružitvenem sporazumu z EU. Leta 1997 se je upokojil, nato pa se je leta 2000 vrnil na zunanje ministrstvo in postal državni sekretar za multilateralo.
Golob je bil član upravnega odbora Mednarodnega sklada za razminiranje in pomoč žrtvam min, član svetovalnega odbora zunanjega ministra in vodja slovenske diplomatske akademije. Napisal je knjigo in številne članke o mednarodnih zadevah.
