Joachim je bio čudo od djeteta, a debitirao je sa sedam godina. Studirao je kod Stanisława Serwaczyńskog, a kasnije kod Ferdinanda Davida na Konzervatoriju u Leipzigu. Također je studirao kompoziciju kod Moritza Hauptmanna.
Joachima je karijera solista vodila diljem Europe, a nastupao je s mnogim vodećim orkestrima toga doba. Bio je i komorni glazbenik te je nastupao s mnogim vodećim glazbenicima svog vremena, uključujući Claru Schumann, Johannesa Brahmsa i Josepha Hellmesbergera, starijeg.
Joachim je također bio predani učitelj, a predavao je na Bečkom konzervatoriju od 1869. do 1907. Bio je i osnivač Joachim kvarteta, koji je bio jedan od najpoznatijih gudačkih kvarteta tog vremena.
Joachim je imao veliki utjecaj na razvoj sviranja violine, a njegova su učenja imala dubok utjecaj na violiniste diljem svijeta. Smatra se jednim od najvećih violinista svih vremena, a njegova ostavština i danas inspirira i obrazuje glazbenike.