Haroon Rahim wuchs als Sohn eines Beamten auf, der seine Kinder zu erfolgreichen Tennisspielern heranziehen wollte. Drei Brüder und eine Schwester von Haroon Rahim konnten im Laufe ihrer Karriere einen nationalen Meisterschaftstitel gewinnen.[1]
Auf der ATP-Tour feierte Rahim 1970 erste größere Erfolge. Nachdem er bereits in Haverford im Viertelfinale an Jaime Fillol gescheitert war, konnte er in New Orleans die Finalrunde spielen, wo er gegen Erik van Dillen verlor. Im Folgejahr erreichte er an der Seite von Jimmy Connors in New York sein erstes Doppelfinale, welches sie aber verloren. 1972 spielte Rahim die Einzelfinalrunden von vier Turnieren, in denen er sich aber jeweils seinem Finalgegner geschlagen geben musste. 1973 erreichte Rahim zwei Halbfinalrunden, in Columbus verlor er gegen Charlie Pasarell und in Aptos gegen Jeff Austin. Ein Jahr später gelang ihm sein erster Turniersieg. An der Seite des Deutschen Karl Meiler gewann er den Doppeltitel von Oslo, als sie gegen Jeff Borowiak und Vitas Gerulaitis in zwei Sätzen gewannen. 1975 und 1977 folgten zwei weitere Titel mit den Doppelpartnern Erik van Dillen und Colin Dibley. Gegen Dibley gelang ihm 1976 auch der einzige ATP-Tour-Turniersieg seiner Karriere im Einzel, als er sich den Titel in Little Rock sicherte. Im selben Jahr holte er sich auch einen Titel beim Challenger von Cleveland gegen Alex Metreweli. 1977 stand er in Little Rock das zweite Jahr in Folge im Einzelfinale, verlor dieses jedoch kurz vor seinem Karriereende gegen Sandy Mayer.
Rahim spielte zwischen 1965 und 1974 in vier Begegnungen für die pakistanische Davis-Cup-Mannschaft. Drei seiner neun Matches konnte er für sich entscheiden.[3]
1978 heiratete Rahim eine Amerikanerin. In dieser Zeit beendete er seine Karriere und zog sich aus der Öffentlichkeit zurück.[1]