О первых обитателях Австрии известно крайне мало. Первые следы человека на территории Австрии относятся к эпохе палеолита (стоянки: Миксниц в Штирии, Виллендорф в Нижней Австрии и др.). Особенно богато представлена археологическая культура раннего железного века (Гальштатская культура - по городу Гальштат в Верхней Австрии).

Первоначальное иллирийское население после вторжения кельтов (между 500 - 400 до н. э.) было постепенно кельтизировано. Между 16 и 9 до н.э. территория Австрию к югу от Дуная была завоёвана римлянами и затем вошла в состав римских провинций Норик, Реция и Паннония. Крупными римскими центрами на территории Австрии были Карнунт (близ Петронелля), Вирун (у Клагенфурта), Виндобона (Вена), Ювавум (Зальцбург) и другие.

В ходе Великого переселения народов территория Австрии подвергалась вторжению различных племён; со 2-й половины 6 в. н. э. в Западной Австрии прочно осели германские племена (главным образом бавары), в центральной и восточной части - славянские племена (в основном словенцы). Однако вся восточная часть Австрии вплоть до середины 10 в. оставалась объектом постоянных опустошений и захватов кочевниками - сначала аварами, затем венграми.

В этих условиях образовавшееся во 2-й половине 7 в. государство словенцев Карантания попало в середине 8 в. в вассальную зависимость от Баварии, вместе с которой в 788 оказалось включенным в состав Франкского государства. На территории Восточной Австрии, отвоёванной в конце 9 в. франкским императором Карлом Великим (742–814) у аваров, была образована т. н. Аварская (или Восточная) марка. С распадом франкского государства (843) территория Австрии оказалась в составе Восточно-франкского королевства (Германии), став составной частью баварского племенного герцогства. Славянское население подвергалось христианизации (главными проводниками которой были архиепископство Зальцбургское, епископство Пассау) и германизации (территория Восточной Австрии заселялась немецкими, главным образом баварскими, колонистами).

Колонизация, приостановившаяся в 1-й половине 10 в. в связи с захватом Восточной Австрии венграми (разгромившими в 907 у Пресбурга баварские войска), вновь возобновилась после разгрома венгров у р. Лех близ Аугсбурга германским королём Оттоном I (955). На отвоёванной территории была образована баварская Восточная марка, за которой позднее упрочилось название маркграфство Австрия.