Sein größter Erfolg war der überraschende Olympiasieg bei den X. Winterspielen in Grenoble 1968 vor dem US-Amerikaner Tim Wood und dem Franzosen Patrick Péra. Sein eigentlich favorisierter Landsmann Emmerich Danzer wurde in diesem Wettkampf nur Vierter.
2002 wurde Schwarz wegen Mädchenhandels in Österreich zu einer Haftstrafe von eineinhalb Jahren verurteilt. Eine weitere Haftstrafe erhielt er 2006. Wegen versuchter Anstiftung zu der Entführung der 18-jährigen Tochter eines Millionärs wurde er in erster Instanz zu acht Jahren Gefängnis verurteilt[1]. Da er die letztere Tat während des Haftaufschubes (aufgrund eines Hautkrebsleidens) für seine erste Strafe beging, wurde er vom Berufungsgericht Anfang März 2007 zu zehn Jahren und sechs Monaten rechtskräftig verurteilt. Gegen das Urteil des Erstgerichtes hatten Schwarz und der Staatsanwalt berufen. Anfang 2014 wurde Schwarz nach Vollzugslockerungen in den vorhergehenden Jahren endgültig aus der Strafhaft entlassen[2].