Die Entstehung des ÖCV geht auf das Jahr 1856 zurück. Damals schlossen zwei katholische Studentenverbindungen in Deutschland ein Freundschaftsabkommen („Cartellabkommen“). 1864 wurde in Innsbruck die Akademische Verbindung Austria gegründet. Erst 15 bis 20 Jahre später kam es auch zu Verbindungsgründungen in Wien und danach auch in Graz. Man schloss sich mit den katholischen Korporation in Deutschland zum Cartellverband zusammen.

In den 1930er Jahren kam es jedoch zu unüberwindbaren Differenzen zwischen den deutschen und den österreichischen Verbindungen auf Grund der verschiedenen Einstellungen zum aufkommenden Nationalsozialismus. Wegen des mit der katholischen Lehre unvereinbaren Programms der NSDAP lehnten die österreichischen Verbindungen bereits 1923 den Nationalsozialismus ab.

Es kam 1933 zu einer Spaltung des Cartellverbandes und dadurch zum ersten rein österreichischen Zusammenschluss von Korporationen - der eigentliche Beginn des Österreichischen Cartellverbandes (ÖCV). Dieser wurde aber im März 1938 durch den Einmarsch Hitlers beendet. Die Staatspolizei hat alle Studentenverbindungen verboten. Viele CVer kämpften im Widerstand und mussten in Konzentrationslagern ihrer Überzeugung wegen ihr Leben lassen. Nach dem 2. Weltkrieg wurde der Österreichische Cartellverband wiedergegründet.

Derzeit besteht der ÖCV aus 44 aktiven Verbindungen in den Universitätsstädten Wien, Wiener-Neustadt, Leoben, Klagenfurt, Graz, Salzburg, Linz und Innsbruck.