桓温の庶子として生まれ、その才能を愛されて後継とされた。桓温の死後は叔父の桓沖の後見を受けた。若い頃から博学で知られ、23歳の時、太子洗馬となるが、父の桓温が東晋の簒奪をもくろんだ人物だったことから罷免され、しばらくは無官の時期を過ごす。その後、義興(現在の
江蘇省宜興)
太守となるが「父は九州の伯と為り、 兒は五湖の長と為る(父・桓温は(東晋)全土の覇者となったのに、息子の自分はただの五湖(
太湖)の長程度か)」と嘆息して辞任した。
当時の東晋は、安帝を擁立した
会稽王・
司馬道子とその息子
元顕が政治を壟断し、朝野からの非難が高まっていた。
398年、北府軍団の長として
京口に鎮していた
王恭が司馬道子打倒の兵を挙げると、当時
広州刺史であった桓玄は
荊州刺史の殷仲堪らとともにこれに呼応した。挙兵自体は王恭の配下の武将で、実際に北府軍団を指揮していた
劉牢之の裏切りにより、王恭が敗死したことから失敗に終わる。しかし桓玄自身はこれを利用して
江州刺史となるなど、自勢力を拡大に成功、翌
399年には、殷仲堪と
雍州刺史の楊佺期を殺し、荊州・雍州を制圧、父親である桓温が支配していた西府軍団を掌握し、長江中流域を制覇した。なおこの頃一時期ではあるが、田園詩人として有名な
陶淵明が彼の幕僚を勤めている。
同年、司馬道子らの圧政に対して、
五斗米道系の道士・
孫恩に率いられた民衆の反乱が起きる(「孫恩の乱」)。反乱自体は劉牢之が率いる北府軍団の活躍により、
402年に鎮圧されたが、この混乱を好機とみた桓玄は、軍団を率いて長江を下り首都建康に迫った。一方の司馬道子親子は、劉牢之に勅書を出し、桓玄の討伐を命じたが、劉牢之は桓玄に寝返り、建康に入った桓玄は司馬道子親子らを殺害、総百揆・
侍中・都督中外諸軍事・
丞相・
録尚書事・
揚州牧などの称号を手に入れた。この時、桓玄は今まで併用されていた
竹簡や
布の
公文書を廃して全て
紙製の公文書に統一したといわれている。さらに桓玄は劉牢之から北府軍団の実権を奪い、これに怒った劉牢之は桓玄を討とうとしたが、度重なる寝返りを行ったことから部下に見放され、逃亡した後自殺した。こうして東晋の実権を掌握した桓玄は、
403年12月、安帝より帝位の禅譲を受けるかたちで皇帝に即位、国号を楚とし、
元号を
永始と定めた。