Rugova urodził się w 1944 r. w kosowskiej Ernicy. Ukończył językoznawstwo na paryskiej Sorbonie. Był poetą i wykładowcą akademickim, a polityką zajął się w 1989 r.
Wtedy właśnie dzięki zabiegom ówczesnego prezydenta Serbii Slobodana Miloszevicia zmieniła się serbska konstytucja. Kosowo, choć wchodziło w skład Serbii, od 1974 r. cieszyło się znaczną autonomią - zdecydowaną większość jego mieszkańców stanowili bowiem Albańczycy. Po zmianach ich autonomia została poważnie ograniczona.
Rugova - wówczas prezes Związku Pisarzy Kosowa - założył wówczas Demokratyczny Związek Kosowa, umiarkowaną partię niepodległościową. Na jej czele stał kilkanaście lat, rezygnując z jej przewodniczenia dopiero jesienią ub.r., gdy wiedział już, że jest śmiertelnie chory.
Kosowscy Albańczycy ogłosili niepodległość w 1990 r. tej prowincji. Republika Kosowska - bo tak brzmiała oficjalna nazwa nieuznawanego przez świat państwa Albańczyków - przeprowadziła w 1992 r. wybory prezydenckie. Wygrał je właśnie Rugova. Sześć lat później został prezydentem po raz drugi.
Rugova zawsze hołdował zasadzie walki bez przemocy. Jednak jego nawoływania o pokojowy charakter protestów Albańczyków były coraz mniej skuteczne. Pod bokiem wyrósł mu mocny konkurent. Wyzwoleńcza Armia Kosowa (UCK) głosiła, że o niepodległość Kosowa należy walczyć z bronią w ręku.
Sytuacja w prowincji coraz bardziej się zaostrzała. Zamachy UCK wywołały pacyfikacyjne działania wojsk serbskich. W końcu sprawą zajęło się NATO, które zażądało, by Belgrad wycofał swe wojska z Kosowa. Gdy Miloszević odmówił, Sojusz w marcu 1999 r. rozpoczął prawie trzymiesięczne bombardowania Serbii.
Po wojnie Kosowo w składzie Serbii pozostało już tylko nominalnie, gdyż do dziś jest pod protektoratem ONZ. W 2001 r. mieszkańcy Kosowa wybrali parlament. Wygrała partia Rugovy.
Rugova zmarł na kilka dni przed rozpoczęciem we Wiedniu pierwszych negocjacji kosowsko-serbskich na temat ostatecznego statusu Kosowa. Po śmierci albańskiego przywódcy ogłoszono, że rozmowy zostały przesunięte na początek lutego.
