Il gruppo nasce a Williamsburgh, Brooklyn nel 2000 e già nel 2001, presso i Tell's Funhouse Studios a Manhattan, gli Yeah Yeah Yeahs registrano il loro EP d'esordio grazie al loro manager Luke Carrighan che scommette su di loro, che porta il loro nome Yeah Yeah Yeahs. L'EP è composto da 5 tracce, tra cui il noto brano Bang!. Gli Yeah Yeah Yeahs debuttano in concerto come band di supporto dei White Stripes, iniziando a farsi conoscere, e continuano con vari show a New York. Verso la fine del 2001 registrano un nuovo EP intitolato Machine.