I Witch nascono nel 2005 da un idea di J Mascis dei Dinosaur Jr e Dave Sweetapple, suo amico di vecchia data. Nei Witch Mascis, noto soprattutto come chitarrista, suona in realtà il suo strumento originario ovvero la batteria. Per completare la formazione i due reclutano invece alla chitarra Kyle Thomas, già nei Feathers apprezzata band avant-folk.
I Witch debuttano nel Marzo del 2006 con un omonimo album. Lo stesso anno contribuiscono con "Rip Van Winkle" loro canzone, ma con un arrangiamento rivisto per l'occasione, alla compilation Invaders pubblicata dalla Kemado Records.