Kerr pravi, da je precej neodvisnega in samostojnega značaja, zato so mu propadle tudi vse dosedanje zveze. Škot je bil poročen s Chrissie Hynde, pevko skupine The Pretenders. Poročila sta se leta 1984, narazen pa sta šla leta 1990. Po prvem zakonu se je leta 1992 pobližje spoznal z igralko Patsy Kensit, njun zakon pa je trajal le štiri leta.
Jim Kerr ima s Chrissie Hynde 24-letno hčerko, danes pa ga nič več ne vleče v zakon. Dejal je: "Nisem pravi moški za zakonsko življenje, preveč sem samosvoj. V posteljo grem ob 8. uri zvečer, vstajam pa zjutraj ob pol petih. Kdo bi lahko živel ob meni? Rad imam ženske, res jih imam rad, ampak najbolje se počutim, ko sem sam."
Opozorilo: 297. členu Kazenskega zakonika je posameznik kazensko odgovoren za javno spodbujanje sovraštva, nasilja ali nestrpnosti.