Пока жизнерадостные хиппи на Западном побережье предавались веселью, в Нью-Йорке сгущался мрак. Зловещие, стильные, угрюмые революционеры The Velvet Underground составили мрачный контрапункт проповедникам мира и любви. Эти антихиппи не боялись писать песни о темных сторонах жизни и одевали их в изматывающие, монотонные аранжировки, которые принадлежали одновременно миру поп-музыки и носили явные признаки пугающего авангарда, атакуя уши и мозги. Они не пытались всем понравиться, просуществовали недолго, их пластинки продавались из рук вон плохо, но это не помешало им остаться в истории величайшей группой альтернативного рока. В честь одной из их песен назван фестиваль «All Tomorrow’s Parties», знаменитый инди-лейбл Factory позаимствовал название у арт-студии Энди Уорхола, где The Velvet Underground занимались своей звуковой алхимией.

С самого своего начала The Velvet Underground выходили за рамки одного поп-музыкального контекста, соприкасаясь с миром кино, моды и поп-арта. Истоки группы можно отыскать в январе 1964 года, когда художник словацкого происхождения Энди Уорхол и его ассистент Джерард Маланга въехали в артстудию под названием «Фабрика». Скоро на 5-м этаже дома 231 по Сорок седьмой улице на Манхэттене возник анклав для нью-йоркской богемы: людей искусства, музыкантов, писателей, художников-бродяг, андеграундных фотографов и режиссеров и просто красивых людей всех мастей. «Фабрика» быстро приобрела скандальную репутацию, благодаря царившим там вольным нравам, и Энди Уорхолу нужна была рок-группа, которая выражала бы его экспериментальный дух.

В июне того же года 22-летний выпускник арт-колледжа Лу Рид за 25 долларов в неделю начал писать песни для лейбла Pickwick International. Однажды он написал и записал довольно глупую пародию на танцевальные записи того времени под названием «The Ostrich» от имени несуществующей группы The Primitives. Для раскрутки сингла нужна была группа, и лейбл нанял приятеля Лу Рида – мультиинструменталиста Джона Кейла – валлийца, который летом 1963 года приехал в США учиться музыке. Он был вундеркиндом, играл на органе и альте, превосходно знал классику и играл в группе The Dream Syndicate матерого авангардиста Ла Монта Янга. Продюсер, который представил его Лу Риду, счел Джона Кейла поп-музыкантом, потому что у того были длинные волосы.

Вместе с Джоном Кейлом в The Primitives вошли его коллега по «Синдикату» Тони Конрад вместе с барабанщиком Уолтером Де Марией. Пока наскоро набранная группа занималась продвижением сингла, Лу Рид показал Джону Кейлу еще две акустические песни, которые он написал: «Waiting For My Man» и «Heroin». Кейл вспоминал: «Я не был впечатлен, потому что ненавидел фолк-песни, и лишь со временем он заставил меня вчитаться в лирику и понять, что это не были песни Джоан Баез. Он писал о тех вещах, о которых не писали другие. Это были грамотные, ярко выраженные, жесткие и беллетризованные впечатления от жизни». Все шло к тому, что эти два не похожих друг на друга человека быстро разбегутся, но в короткий срок они начали подстегивать друг друга на новые творческие изыскания.

К 1965 году в группу Рида и Кейла влились гитарист Стерлинг Моррисон и барабанщик Энгус Маклайс. Поиск названия увенчался успехом, когда друг Джона Кейла, авангардный режиссер Тони Конрад нашел роман в мягкой обложке под названием «Бархатное подполье». Книжка была посвящена сексуальным субкультурам начала 60-х, что идеально подходило рискованной концепции коллектива. Группа приняла название The Velvet Underground. После полугода совместной деятельности Лу Рид и Джон Кейл ясно представляли, чего они хотят добиться. По словам Кейла, они хотели быть «группой с симфоническими динамичными способностями» на основе голого реализма со скандально-сексуальным оттенком. Язвительные стихи Рида смело нарушали табу, касающиеся, скажем, садомазохизма (в это время он сочинил песню «Venus In Furs», вдохновленную книгой Леопольда фон Захер-Мазоха «Венера в мехах»), зависимости от наркотиков и смерти.