Der Verein wurde 1869 als Cricketclub gegründet. Die Fußballabteilung gründete sich 1873. Nachdem man von 1900 bis zur kriegsbedingten Pause 1940 in der höchsten Spielklasse, der „Scottish League Division 1“, gespielt hatte, stieg Kilmarnock in der ersten Nachkriegssaison ab.
Es folgte von 1954 bis 1977 eine längere Zugehörigkeit zur Division 1. In dieser Zeit konnte man 1965 den bis heute einzigen Meistertitel gewinnen. Anschließend war der FC Kilmarnock eine Fahrstuhlmannschaft.
Der höchsten Spielklasse Schottlands, der Scottish Premier League, gehört der Verein ununterbrochen seit 1993 an.
1997 gewann Kilmarnock überraschend den ersten Titel seit 32 Jahren und wurde zum dritten Mal schottischer Pokalsieger.
2012 gewann Kilmarnock zum ersten Mal den Schottischen Ligapokal im Finale gegen den Favoriten Celtic Glasgow mit 1:0.