Studiò alla Dwyer School of Art, nel Bronx, e successivamente frequentò il FIT (Fashion Institute of Technology) di Manhattan. Cominciò a fare il dee jay, nel 1971 al Better Days di New York, dove lavorò con Tee Scott. La sua selezione musicale iniziale prevedeva principlamente funk, jazz, rhythm'n'blues, soul.
Knuckles si fece subito notare per le sua abilità e perciò nel 1972 fu ingaggiato come dj resident del Gallery, locale newyorkese, dove affiancò due dj molto popolari: Nicky Siano, che era anche proprietario del locale, e Larry Levan, suo grande amico. I tre furono tra i primi, insieme al leggendario Kenny Carpenter, ad introdurre nei club la tecnica del “mixaggio”, ovvero suonare i dischi uno dietro l'altro, senza interruzioni, in modo che la musica scorra con continuità. Altra curiosità tecnica, furono tra i primi ad utilizzare più di due piatti per inserire effetti sonori nel passaggio da un brano all'altro.
Nel 1973 affiancò Levan in un altro club leggendario: Continental Baths. Quando l'anno successivo Levan lasciò il locale, Knuckles divenne il dj principale del locale fino alla chiusura. Successivamente affiancò Levan in un altro locale storico: il Paradise Garage. Nel 1976 Levan era impegnato nel leggendario "Garage", quando gli fu proposto di lasciare New York per trasferirsi a Chicago e lavorare al lancio di un altro storico locale: "Warehouse". Levan non era intenzionato a lasciare New York e consigliò ai proprietari del locale di Chicago di affidare la selezione musicale a Knuckles. Knuckles si trasferì a Chicago nel 1977, diventando il dj resident del Warehouse. La presenza di un pubblico diverso da quello newyorkese, lo spinse a sperimentazioni sonore elettroniche e a lavori di re-editing manuale; Knuckles recupera vecchi pezzi funky, jazz e soul e attraverso manipolazioni elettroniche mediante sintetizzatori e registratori, realizzò quel genere che poi sarebbe stato denominato House music, il cui nome deriva proprio dal locale in cui Knuckles si esibiva nei suoi dj set. Knuckles contribuì all'evoluzione della figura del dj: da semplice selezionatore di musica (una sorta di juke box umano) ad artista in grado di creare nuovi ritmi e coinvolgere il pubblico nel ballo. Nel 1983 aprì un club proprio: il Power Plant.
Quando alcune difficoltà lo costrinsero a chiuderlo, tornò a New York, e diventò resident al The World, e successivamente al The Choice, The Sound Factory e The Sound Factory Bar.
La sua carriera decollò e iniziò a produrre musica. Il suo primo remix risaliva al 1982 per il brano “Let no man put as under" dei First Choice e a seguire "I'm going to go" (1985) di Jago. Quando la house music iniziò a crescere di popolarità, il produttore Chip E. si offrì di incidere la prima registrazione di Frankie, intitolata "You Can't Hide", con il vocalist Ricky Dillard. Il brano uscì nel 1987. In seguito pubblicò altri successi da club come "Tears" (1989) con Robert Owens (dei Fingers, Inc.) e Satoshie Tomiee. Nel 1989 divenne famosa nei club europei la sua nuova versione di "Your Love": un classico della musica elettronica underground degli anni ottanta caratterizzato da una linea di arpeggi ripetuta e da una potente linea di basso propulsiva. Il disco, contenente un piccolo campione della canzone "Feels Good" (1982) degli Electra, fu realizzato da Frankie Knuckles e Jamie Principle nel 1984 e uscì inizialmente in una versione demo destinata solo a pochi dj radiofonici. Una seconda edizione del 1986 venne prodotta su etichetta Persona Records da Principle ma anche in questo caso non arrivo' mai nel Vecchio Continente. Nel 1989 venne pubblicata quindi la versione più conosciuta, in cui di solito viene accreditato solo Knuckles, incisa su licenza di diverse etichette europee. Le differenze con la versione del 1986 sono quasi impercettibili e i due dischi sono facilmente confondibili (nella versione del 1989 la cassa è più debole).
Dopo numerosi singoli e remix nel ‘91 arrivò il suo primo album: Beyond The Mix, che conteneva le hit "The Whistle Song” (probabilmente il brano più famoso di Frankie Knuckles), "Rainfalls" e "Workout" che non solo raggiunsero buoni piazzamenti nelle classifiche dance ma vennero anche particolarmente apprezzati dalla critica. Il giornalista della rivista di billboard Larry Flick nel 1992 affermò infatti che Knuckles fosse probabilmente il miglior artista dance d'America e che nelle sue produzioni "capisce il groove, capisce la canzone e tutto il quadro". Nel 1995 pubblicò il suo secondo album "Welcome To The Real World" con la cantante Adeva, contenente le hit “Too Many Fish” e "Whadda U Want (From Me)" . Nel 2004 è uscito l'album "A New Reality".
Sono noti i suoi lavori come remixer su canzoni di Michael Jackson e Diana Ross, per i quali nel 1997 vinse un Grammy.
Il 25 agosto 2004 è stata intitolata a suo nome la strada in cui risiede il Warehouse a Chicago: "Honorary Frankie Knuckles Way".
Con i suoi amici newyorkesi David Morales, Satoshi Tomiie e Bobby D'Ambrosio fondò nel 1989 la Def Mix Productions, la cui attività continua tutt'oggi.