Smatra se da izraz potječe iz Sjedinjenih Država u 19. stoljeću, kada su šerifi bili izabrani dužnosnici odgovorni za provođenje zakona u svojim okruzima. Kad bi se birao novi šerif, često bi dovodili svoje zamjenike i mijenjali način provođenja zakona. To bi moglo dovesti do značajnih promjena u lokalnoj zajednici, budući da bi novi šerif mogao imati drugačiji pristup provođenju zakona ili bi mogao dati prioritet drugim pitanjima od prethodnog šerifa.
S vremenom se fraza "novi šerif u gradu" počela upotrebljavati šire za označavanje svake nove osobe na poziciji autoriteta koja donosi promjene ili ima značajan utjecaj na svoje područje. Sada se često koristi u raznim kontekstima, poput politike, poslovanja i sporta.