Hilfiger nasce il 24 marzo del 1951 ad Elmira, un piccolo paese alla periferia di New York; Tommy è il secondo dei nove fratelli Hilfiger, una famiglia irlandese cattolica.
Nel 1969, mentre frequenta la Elmira Free Academy, inizia con un capitale di 150 dollari e venti paia di jeans la sua carriera di vendita al minuto.
Diplomatosi, preferisce non proseguire gli studi, ma continuare la strada intrapresa nel mondo della moda lavorando nei magazzini Brown’s, filiale di un negozio di New York City, dove inizia a disegnare capi “ad personam”, soprattutto jeans e pantaloni a zampa di elefante, seguendo le richieste e i desideri dei suoi clienti.

In breve tempo apre un negozio nel centro di Elmira, che chiama People’s Place; sebbene fosse diventato un negozio di culto, soprattutto fra i giovani, che ospitava frequentemente DJ Contest e musica dal vivo, spesso molte persone gironzolavano senza comprare niente. Con l’apertura del centro commerciale Arnot Mall, il traffico commerciale si sposta a Horseheads, e molti negozi del centro di Elmira chiudono i battenti. Fra le vittime anche il People’s Place: era il 1976 quando il negozio dichiara bancarotta dopo sette anni di attività, e nel luogo ove sorgeva sarà in seguito costruita la First Arena, stadio della squadra di hockey su ghiaccio locale, gli Elmira Jackals Hockey team.

Hilfiger continua a disegnare abiti per i dieci negozi che ha sparsi nella parte settentrionale dello stato di New York, e nel 1979 Hilfiger si trasferisce con sua moglie Susie, dalla quale ora è separato, a New York City. Nonostante riceva offerte di lavoro come assistente designer da stilisti come Calvin Klein e Perry Ellis, e nonostante i guai finanziari, rifiuta le proposte per perseguire obiettivi più grandiosi; riesce a sfondare nel 1985, quando presenta la sua prima sfilata firmata e da allora i prodotti Hilfiger invadono il mercato.