Изначально мелодия Гайдна, сочинённая ещё в 1797 году, называлась «Песнь кайзера» (нем. Kaiserlied) и до 1918 года использовалась как официальный гимн Австрийской (Австро-Венгерской) империи. В 1841 году Фаллерслебен написал на эту мелодию стихи «Германия превыше всего». Для фламандцев Гофман создал аналогичную песню «Фландрия превыше всего» и записал первую версию «Песни немцев» в нижненемецко-фламандском варианте. «Песнь немцев», первоначально являвшаяся лишь одной из нескольких популярных патриотических песен, в 1890 году была впервые использована на официальном мероприятии по случаю включения в империю Гельголанда в результате подписания Гельголандско-занзибарского соглашения. Лишь спустя много лет, 11 августа 1922 года, Фридрих Эберт, рейхспрезидент Веймарской республики от социал-демократов, объявил «Песнь немцев» государственным гимном.
В гитлеровской Германии второй и третий куплет песни не использовали, вместо них исполнялась Песня Хорста Весселя — партийный гимн НСДАП. После окончания Второй мировой войны союзники временно запретили все три куплета.
Песнь немцев в 1952 снова стала гимном. Бундесканцлер Конрад Аденауэр писал бундеспрезиденту Теодору Хойсу письмо с просьбой федерального правительства «признать песню Гофмана-Гайдна национальным гимном» с тем, чтобы при государственных мероприятиях был использован только текст третьего куплета.
Вопреки распространённому заблуждению, исполнение первых двух куплетов в Германии не запрещено.