1995 m. rugpjūčio mėnesį grižo į Hearts klubą kaip treneris, kuris. 1998 m. su komanda laimėjo [[Škotijos futbolo taurė|Škotijos futbolo taurę]]. 2000 m. lapkričio 20 d. paliko Hearts FC ir tapo [[Bradford City AFC]] klubo treneriu.
2010 m. sausio 29 d., atleidus [[Csaba Laszlo]], tapo Heart of Midlothian klubo treneriu. Po to kai [[Csaba Laszlo]] buvo atleistas.<ref>{{Cite web | url = http://news.bbc.co.uk/sport1/hi/football/teams/h/heart_of_midlothian/8488308.stm | title = Jim Jefferies replaces Csaba Laszlo as Hearts manager| publisher = BBC Sport}}</ref>Hearts 2010–2011 m. sezone užėmė trečią vietą, nepaisant to, Jeffries ir jo asistentas Billy Brown buvo atleisti iš pareigų 2011 m. rupgjūčio 1 d. po dviejų rungtinių 2011–2012 m. sezone.<ref>{{cite news|url=http://www.dailymail.co.uk/sport/football/article-2021184/Jim-Jefferies-sacked-Hearts.html|title=It's only August 1 but already Hearts have sacked manager Jefferies|work=Daily Mail|publisher=Associated Newspapers}}</ref><ref>{{citeweb|url=http://www.telegraph.co.uk/sport/football/teams/hearts/8675379/Jim-Jefferies-sacked-as-Hearts-manager.html|title=Jim Jefferies sacked as Hearts manager|work=Daily Telegraph}}</ref>
