Er nahm zwischen 1958 und 1977 an insgesamt 415 NASCAR-Grand-National-Series- bzw. Winston-Cup-Series-Rennen teil, gewann jedoch keines davon, trotz 138 Top-10-Platzierungen, inklusive 55× Top 5, womit Spencer, was Top 5 ohne Sieg angeht, Rekordhalter ist; den Rekord mit den meisten Top-10-Plätzen ohne Sieg allerdings hält Neil Castles. Seine beste Gesamtplatzierung war der vierte Rang 1965. Im selben Jahr erzielte er auch seine einzige Pole-Position auf dem Hickory Motor Speedway.