然而,有如此“緣分”並不代表有福氣,李旦似乎不願意做天子,甚而是頗為排斥。這與其人生經歷是直接相關的,自從其父中宗李顯試圖廢掉武後的行動失敗後,李唐天子的威嚴便一落千丈,皇帝只不過成了某種稱謂以及武後弄權的形式工具罷了,然而命運或許更不如工具,有時甚至有性命之憂。李旦幾個哥哥接連被廢被殺,自然使他感觸極深。其為藩王時,曾路經滋水驛廳,“廳西壁,畫一胡頭,因題曰:『喚出眼何用苦深藏,縮卻鼻何畏不聞香。』”(《南部新書》戊卷)胡人面相頗異中原漢人,尤在眼深鼻高,現代出土的唐三彩中胡人便是如此。李旦實際上是借此題而自諷,雖眼鼻俱在,然既不能看也不能嗅,深藏縮卻只是無奈。正如藩侯王爵有其名而無其實,惟有深自韜晦,以為避禍。史臣稱睿宗“謙恭孝友,好學,工草隸,尤愛文字訓詁之書”(《舊唐書》卷七《睿宗紀》)、“長而溫恭好學,通訓詁,工草隸書”(《新唐書》卷五《睿宗紀》),“謙恭”、“孝恭”雖然有性格的因素,但更是情勢所迫。真正雄才大略的皇嫡龍種,襄助父皇治理天下,尚方應接不暇,哪有時間精力“通訓詁”、“工草隸”,借此消散滿腹的無奈罷了。此詩《全唐詩》卷二《睿宗》失載,但對窺探李旦心境,瞭解初唐隱史卻是頗為重要的。
其後,李旦雖兩次龍飛登基,然均非出自本人意願。武則天冊立的那次自不用說,只是在武則天導演的戲劇中匆匆扮演了一次天子的角色。第二次做皇帝同樣是被迫的,對此,李旦一直耿耿於懷,以至於專門發了一道《付史館紀皇太子等勸進詔》:“皇太子李隆基……一夕之間,戡定禍難。朕當宿夕,初不聞知,及見事平,且悲且慰……隆基、太平公主、成器、范業、薛稷、劉幽求、麻嗣宗等以為宗廟不可無主,萬機不可暫曠,且從人望,因定策禁中……事不獲已,乃順眾望……蓋非朕之本心,實乃鎮國太平長公主、皇太子、諸王、郡公之意也。”(《全唐文》卷十八《睿宗》)可見討平韋氏前後過程,確和李旦無關,其被奉為皇帝,也全出李隆基、太平公主等人意願,此詔是在向史臣表明被戴天子的無奈,希望能夠將此實情寫進實錄國史,讓後世知曉其本無意於皇位。經歷了太多坎坷之後,李旦似乎已經超脫於名位利慾,皇帝緣最終使他“談帝而色變”了。