În anul 962, Otto I a fost încoronat ca împărat, proclamându-se ca succesor al lui Carol cel Mare.
Unii istorici consideră că punctul de început al imperiului a fost încoronarea lui Carol cel Mare (25 decembrie 800), pe când alții îi plasează debutul la încoronarea lui Otto I (2 februarie 962).
Înainte de 1157 imperiul era denumit Imperiul Roman. Termenul de „sacrum” (sfânt) în conexiune cu Imperiul Roman medieval a fost utilizat începând din 1157 sub Frederic I Barbarossa, termenul reflectând ambițiile sale de a domină Italia și papalitatea.
Forma Sfântul Imperiu Roman este atestată din 1254.
În decretul de pe urma Dietei Imperiale din 1512 numele a fost oficial schimbat în Sfântul Imperiu Roman de Națiune Germană (germană: Heiliges Römisches Reich Deutscher Nation, latină: Imperium Romanum Sacrum Nationis Germanicæ), fiind utilizat pentru prima dată în 1474.
Noul titlu a fost adoptat parțial din cauza pierderii teritoriilor italiene și burgunde de către Imperiu în secolul al XV-lea, dar sublinia importanța statelor germane în conducerea imperiului în timpul reformei imperiale.
La sfârșitul secolului al XVIII-lea, termenul de Sfântul Imperiu Roman de Națiune Germană a încetat să mai fie utilizat.
Voltaire scria că era o aglomerare de țări ce se auto-denumea Sfântul Imperiu Roman, dar nu a fost nici sfânt, nici roman, nici imperiu. Sfântul Imperiu Roman nu a fost un stat național, ci un imperiu peste mai multe popoare.
Continuatori ai Romei antice
În ciuda faptului că majoritatea populației sale și a elitei politice erau de etnie germană, conducătorii săi, elita politică, se priveau pe ei înșiși ca cetățeni romani, continuatori ai tradiției statale a Romei antice deși, practic nu mergeau la Roma decât pentru încoronarea lor religioasă.
La zenitul său, imperiul cuprindea cea mai mare parte a teritoriului în care astăzi se află Germania, Austria, Elveția, Liechtenstein, Belgia, Luxemburg, Țările de Jos, Cehia, Slovenia, la fel ca și partea estică a Franței, o parte din Italia și părțile occidentale ale Croației și Poloniei.
Începuturile sale converg către data încoronării lui Carol cel Mare (denumit si Charlemagne – 742/814) cu ocazia Crăciunului din anul 800, de către papa Leon al III-lea și a durat până la abdicarea lui Francisc al II-lea, în anul 1806, în timpul războaielor napoleoniene.
Limba oficială a imperiului a fost limba latină, alături de care germana a fost ridicată la statut de limbă oficială abia în timpul domniei lui Iosif al II-lea, împărat romano-german.
Alături de latină și germană (cu toate dialectele sale), în imperiu erau utilizate și limbile franceză, italiană și cele slave.
