Через два года отец семейства умер от туберкулеза.
Ли, даже не окончивший пяти классов, начал торговать ремешками для часов, а вскоре устроился на фабрику по производству пластмассовых цветов.
Подростком он работал по 16 часов в день на вредном производстве — штамповке и раскраске искусственных роз, а после смены посещал вечернюю школу.