Međutim, istina je da se tijekom svoje karijere suočio s kritikama i kontroverzom, što je dovelo do neke napetosti s mrežama i gledateljima.
Evo nekoliko primjera onoga što je moglo pridonijeti ovoj percepciji:
* Kritika sportaša: Cosell je bio poznat po kritiziranju nastupa sportaša, često s tupim i nefiltriranim stilom. To je ponekad dovelo do javnih sukoba s igračima.
* Rasni i društveni komentar: Bio je poznat i po tome što se bavio socijalnim i rasnim pitanjima, ponekad na način koji se smatrao neosjetljivim ili uvredljivim.
* Sukoba s mrežama: Imao je pomalo borbeni odnos s mrežama, često osporavajući njihov autoritet i gurajući granice svojim komentarom.
Iako nikada nije postojao niti jedan incident koji je doveo do njegovog uklanjanja iz emitiranja, ti su čimbenici pridonijeli percepciji njega kao kontroverzne figure. Konačno se povukao iz emitiranja 1985. godine, ali to je bilo više zbog njegove dobi i zdravlja nego bilo koje specifične kontroverze.