Nález čeľuste Mauer 1 v roku 1907 ukazuje, že pravekí ľudia boli na území Nemecka prítomnom už pred 600 000 rokmi.Najstaršie doteraz nájdené kompletnú lovecké zbrane boli objavené v uhoľnej bani v Schöningenu v roku 1995. Išlo o tri 380 000 rokov staré drevené oštepy 6-7,5 stopy dlhé.V údolí Neandertal bola v roku 1856 objavená vôbec prvá fosílie nemoderného človeka. Tento nový druh človeka bol pomenovaný Neandertálec. O týchto fosíliách nazvaných Neandrtal 1 je dnes známe, že sú 40 000 rokov staré. Dôkazy o moderných ľuďoch podobne starých boli nájdené v jaskyniach v pohorí Švábska Alba neďaleko Ulmu. Nájdené boli tiež 42 000 rokov starej flauty, vyrobené z vtáčích kostí a mamutie slonoviny, ktoré sú najstaršími nájdenými hudobnými nástrojmi, ďalej 40 000 rokov stará soška levieho muža,a 35 000 rokov stará Venuša z Hohle Fels, ktoré sú doteraz najstarším objaveným sochárskym umením.Disk z Nebry je vyrobený z bronzu a nájdený blízkosti, ako názov napovedá, Nebry v krajine Sasko-Anhaltsko. Svetový register programu Pamäť sveta (UNESCO) tento nález nazval "jeden z najvýznamnejších archeologických nálezov 20. storočia."
História germánskych kmeňov siaha do severskej doby bronzovej alebo predrímskej doby železnej. Z južnej Škandinávie a severného Nemecka od 1. storočia pr. n.l postupovali južnom, východnom a západným smerom a prišli do kontaktu s keltskými kmene Galov, ako aj s iránskymi, pobaltskými a slovanskými kmene vo strednej a východnej Európe.Pod vládou cisára Augusta začal Rím území Germánie napádať (oblasť rozprestierajúcu sa zhruba od Rýna po Ural). V roku 9 n. l. boli tri rímske légie vedenej Varom porazené cheruským vodcom Arminom. Okolo roku 100, kedy Tacitus napísal knihu Germania, sa germánske kmene usadili pozdĺž riek Rýn a Dunaj (Limes Germanicus) a zaberali väčšinu územia dnešného Nemecka; Rakúska, južného Bavorska a západného Porýnie. Avšak spadali pod Rím ako provincie.
V 3. storočí sa objavila séria západných germánskych kmeňov: Alemani, Frankovia, Chattovia, Sasi, Frisovia a Durynkovia. Okolo roku 260 začali Germáni nájazdy na rímska území. Po invázii Hunov v roku 375 a s úpadkom Ríma od roku 395 sa germánske kmene presunuli ďalej na juhozápad. Súčasne niekoľko veľkých kmeňov vytvorilo približne to, čo je dnešný Nemecko, a vysídlili menšie germánske kmene. Veľká územia (známa od merovejského obdobie ako Austrázie) bola obsadená Franky a severné Nemecko bolo ovládané Sasy a Slovanmi.
25. decembra 800 bol franský kráľ Karol Veľký korunovaný na cisára a založil Karolinskou ríši, ktorá bola v roku 843 rozdelená.Svätá ríša rímska zahŕňala východná časť Karlova pôvodného kráľovstva a ukázala sa ako najsilnejší. Jej územie sa tiahla od rieky Eider na severe ku Stredozemnému moru na juhu.Za vlády otonských cisárov (919-1024) bolo konsolidovaných niekoľko významných vojvodstva a nemecký kráľ Oto I. bol v roku 962 korunovaný na cisára Svätej ríše rímskej. V roku 996 sa Gregor V. stal prvým nemeckým pápežom. Menoval ho jeho bratranec Ota III., Ktorý bol krátko pred tým korunovaný cisárom Svätej ríše.Za vlády sálske dynastie (1024-1125) Svätá ríša rímska pohltila severnom Taliansku a Burgundsko, aj keď cisárovi stratili kvôli boji o investitúru moc.
Pod vládou štaufov (1138-1254) posilnila nemecké kniežatá svoj vplyv ďalej na juh a na východ do oblastí obývaných Slovanmi, predchádzajúci nemeckému osídlenie do týchto oblastí a ďalej na východ (Ostsiedlung). Severná nemecká mestá rástla a prosperovala ako členovia Hanzy.Počnúc veľkým hladomorom v roku 1315 a končiac čiernou smrťou v rokoch 1348-1350 sa počet obyvateľov Nemecka znížil. Zlatá bula z roku 1356 zabezpečila základné ústavu ríše a kodifikovala voľbu cisára siedmich kurfirsty, ktorí vládli niektorému z najmocnejších kniežatstva a arcibiskupstva.Martin Luther v roku 1517 vo Wittenbergu zverejnil 95 téz, v ktorých napádal rímskokatolícku cirkev a zahájil protestantskú reformáciu. Samostatná luteránska cirkev sa po roku 1530 v mnohých spolkových krajinách stala oficiálnym náboženstvom. Náboženský konflikt viedol k tridsaťročnej vojne (1618-1648), ktorá nemeckej krajiny spustošila.Počet obyvateľov nemeckých krajín sa znížil asi o 30%. Vestfálsky mier (1648) medzi nemeckými krajinami náboženskou vojnu ukončil, ale ríša bola de facto rozdelené do mnohých nezávislých kniežatstva. V 18. storočí sa Svätá ríša rímska skladala z približne 1 800 takýchto území.
Od roku 1740 dominoval nemeckými krajinami dualizmus medzi rakúskou habsburskou monarchiu a Pruskom. V roku 1806 bolo "Imperium" dobyté a rozpustené v dôsledku napoleonských vojen.