Connery je rođen u Edinburghu u Škotskoj 1930. Otac mu je bio tvornički radnik, a majka čistačica. Connery je napustio školu s 13 godina i počeo raditi kao mljekar. Kasnije se pridružio Kraljevskoj mornarici, gdje je služio tri godine.
Conneryjeva glumačka karijera započela je ranih 1950-ih, kada se pojavio u nekoliko malih uloga u britanskim filmovima. Njegov veliki uspjeh dogodio se 1962. kada je dobio ulogu Jamesa Bonda u filmu Dr. No. Film je doživio veliki uspjeh i Connery je ubrzo postao jedan od najpopularnijih glumaca na svijetu.
Connery je nastavio glumiti Jamesa Bonda u još šest filmova, uključujući From Russia with Love (1963), Goldfinger (1964), Thunderball (1965), You Only Live Twice (1967), Diamonds Are Forever (1971) i Never Say Never Again (1983). Također je glumio u nizu drugih uspješnih filmova tijekom 1960-ih i 1970-ih, uključujući Veliki bijeg (1963.), Ubojstvo u Orient Expressu (1974.) i Čovjek koji bi trebao biti kralj (1975.).
U 1980-ima Conneryjeva karijera počela je padati. Glumio je u nizu loše primljenih filmova, uključujući Outland (1981.), Never Say Never Again (1983.) i The League of Extraordinary Gentlemen (2003.). Ipak, dobio je pohvale kritičara za svoje uloge u filmovima The Untouchables (1987), Indiana Jones i posljednji križarski pohod (1989) i The Rock (1996).
Connery se povukao iz glume 2006. Dobio je brojne nagrade za svoj rad, uključujući Oscara, dvije BAFTA nagrade i tri Zlatna globusa. Vitezom ga je proglasila i kraljica Elizabeta II 2000. godine.