除了寫作和政治，李敖和女人的關係讓人樂道，李敖自己就說過他仇人多，朋友多，女人更多。網上根據李敖自傳的內容，指第一個與李敖談戀愛的女孩姓羅，李敖沒有提到她的名字，又坦言羅小姐是他的初戀，也堪稱生死戀。1955年秋，李敖考入台大，而羅也進了台大化學系。第二個女孩叫王尚勤，兩人的戀情開始於1962年2月；1964年9月，王在留學時，發現自己懷孕，不久在西雅圖生下李文，就是李敖後來一直後悔沒能陪伴成長的女兒。

現任妻子小31歲

在李敖生命中，劉會雲是第6個女人，由於她的穿針引線，出獄後的李敖得以出版《獨白下的傳統》，並由此復出，震動文壇。李敖的第7個女人則是明星胡因夢，1980年5月6日二人結婚，也是他的第一段婚姻，可惜百日後兩人便告離婚。現任妻子王志慧(王小屯)比李敖小31歲，應是李敖的第15個女人，兩人1988年6月完婚，並誕下兒子李戡和女兒李諶。

李敖毫不諱言自己喜歡看日本AV，稱最喜歡的AV女優是小澤圓。他還在微博透露，香港明星莫文蔚曾送給他裸照，並稱很欣賞該照片，也欣賞莫文蔚的「放浪形骸」。