Nykyisen Jemenin aluella sijainneista valtioista tunnetuin on Vanhassa testamentissakin mainittu Saban kuningaskunta, joka hallitsi aluetta noin vuodesta 1000 eKr. vuoteen 115 eKr. Saban kuningaskunnan romahdettua Arabian niemimaan eteläinen osa siirtyi seuraavaksi 400 vuodeksi himyariittien haltuun ja oli jonkun aikaa myös etiopialaisten ja persialaisten miehittämänä ennen islamin saapumista ja maan liittämistä osaksi Islamilaista Kalifaattia vuonna 634. Lyhyen Rassidi-dynastian ja itsenäisyyden jälkeen Jemen joutui 1500-luvun alussa mamelukkien ja ottomaanien keskinäisen kilpailun kohteeksi ja päätyi lyhyiden itsehallinnollisten jaksojen jälkeen jälkimmäisen protektoraatiksi. Ottomaanit liittivät Jemenin kiinteäksi osaksi imperiumiaan vuonna 1827 lukuun ottamatta maan eteläistä rannikkoa, joka joutui Ison Britannian valloittamaksi ja uudelleen nimettiin Adenin Protektoraatiksi.
Ensimmäisen maailmansodan päättyessä Jemenin imaamikunta itsenäistyi ja nimettiin vuonna 1926 Jemenin kuningaskunnaksi maan eteläisen osan pysyessä Britannian siirtomaana. Useat vallankaappaukset ja vallankaappausyritykset, sekä jatkuvat rajakahakat eteläisen Jemenin kanssa saivat maan hakemaan tukea Nasserin Egyptiltä ja liittymään tämän ideoimaan Yhdistyneeseen arabitasavaltaan Syyrian ohella vuonna 1958. Egyptin lisääntynyt vaikutusvalta johti poliittisiin levottomuuksiin ja lopulta vallankaappaukseen, sekä sisällissotaan, jossa Egyptin tukemat arabisosialistit taistelivat Saudi-Arabian ja Britannian tukemia rojalisteja vastaan. Egypti veti joukkonsa Jemenistä tappion kärsineenä vuonna 1967 ja 1970 Saudi Arabia tunnusti itsenäisen Pohjois-Jemenin, eli Jemenin Arabitasavallan.
Jemenin eteläisessä osassa, Adenin Protektoraatissa, oli esiintynyt sisäisiä levottomuuksia 1950 luvun lopulta alkaen ja vuonna 1967 marxistikapinalliset onnistuivat painostamaan Britannian vetämään joukkonsa maasta. Voittoisat kommunistit nimesivät maan ensin Etelä Jemenin Kansantasavallaksi ja myöhemmin Jemenin Demokraattiseksi Kansantasavallaksi.
Pohjois- ja Etelä-Jemen kävivät kolme tuloksetonta rajasotaa 1970-luvulla ja lisäksi kansantasavallassa puhkesi 1986 lyhyt sisällissota. Pohjoisen ja etelän suhteet lämpenivät kylmän sodan loppuvuosina ja Neuvostoliiton antaman talousavun loputtua tapahtunut Etelä-Jemenin talouden romahdus johti neuvotteluihin ja vihdoin viralliseen yhdistymiseen Pohjois-Jemenin kanssa vuonna 1990. Maan nimi muutettiin 1991 Jemenin yhdistyneeksi arabitasavallaksi ja maassa järjestettiin ensimmäiset vapaat monipuoluevaalit. Vallanjaosta johtaneet erimielisyydet johtivat vuonna 1994 lyhyeen sisällissotaan Pohjoisen kansallismielisten joukkojen ja etelän sosialistien välillä. Sota päättyi pohjoisen osapuolen voittoon ja vallanjakoon näiden ehdoilla.
Vuoden 1994 jälkeen maan olot ovat pysyneet vakaina. Jemen on hyötynyt uusista öljylöydöistä, sekä öljyn hinnan noususta ja lisääntyneitä tuloja on käytetty yleisen turvallisuuden ja liikenneverkoston, sekä turismi-infrastruktuurin parantamiseen. Jemen on viimeaikoina houkutellut erityisesti ympäristötietoisia turisteja rannikkoalueiden suojeltuihin sukelluskohteisiin.
