吳李玉哥家族世代從事布坊的染印業，從小學習女紅刺繡；中年時，喪夫再加上國共內戰，因此在一九四九年攜幼子避難來台，以刺繡女紅為業，並全力支持兒子向何鐵華、張義雄學習繪畫，此舉種下她日後登上台灣畫壇的契機。
待兒子成人後，因工作需要經常出差，獨自一人在家的吳李玉哥，便回憶家鄉人物，觸動畫心，隨性動筆繪製花鳥、人物等畫作，開啟她往後不平凡的創作之路。
後來吳李玉哥的油畫「碧潭」入選台陽美展，名聲逐漸傳開。一九七○年代，隨著「素人繪畫」的潮流，吳李玉哥、洪通、林淵等人並列「素人畫家」，受到畫壇重視的同時，也成功為其奠定素人畫家的代表地位。