古時候，有一對夫妻，妻子是一位主婦，生得嬌艷可人、風韻猶存，平時在家里做點針線活。因生得貌美，早就已招徠一些狂蜂浪蝶追求，丈夫是一個生意人，要經常到外地去做生意，兩口子的日子過得也富裕，在丈夫外出的日子里，妻子就不免枕冷襟寒、寂寞難耐，終于有一天，妻子忍不住跟街市一個賣布的好上了，在丈夫外出做生意的時候，他們就巫山云雨地在一起廝混。

有一次，丈夫回家后三個月都沒有外出，直煎得那個賣布的天天在他們家附近打轉，一天，丈夫騎著馬到城外打獵去了，經過街市，那賣布的見了非常高興，以為他又要外出做生意，當晚就迫不及待地竄進了妻子的臥室，準備和相好幽會，當晚丈夫回來了，幾乎將他逮了個正著，妻子也嚇了個半死，那賣布的只好哆嗦在人家的床底一整晚。

這件事后，妻子就向那賣布的要了一塊綠色的布料，做了一頂帽子給丈夫，還和那賣布的約定，當你看見我丈夫戴上綠帽子外出的時候，你就可以來了。

過了幾天，丈夫又要外出做生意了，妻子趕緊拿出那頂綠帽子對丈夫說：“外面的風沙大，戴上就不會弄臟了頭發，這顏色讓你看起來很俊，以后你每次外出我都為你做一頂，就像我跟在你身邊一樣，你就不用牽掛我了”，丈夫聽了很開心，以為自己真的很俊，于是高高興興戴上那頂綠帽子，騎著馬得意洋洋穿過街市，到外地做生意去了，當晚，他妻子就和那賣布的睡在他的床上。

以后，那個賣布的凡見了那丈夫戴著綠帽子外出時，心里都不禁心花怒放：“哈！你的綠帽子真是很俊，不過今晚該到我俊了”。于是，綠帽子的說法就這樣傳下來了。