אגדה מן המאה ה- 14 מספרת כי אוסטריה נוסדה זמן קצר אחרי המבול, וכי נסיכה מקראית התגוררה בטולן, בקורנויבורג, בשטוקראו ובווינה. שם הארץ האגדית היה "יודאיס-אפטה", שפירושו "מתאימה ליהודים". רושם העתים בסיפור טוען אפוא כי ראשיתה של אוסטריה בתקופת המקרא, וכי יהודים שוכנים בה עוד מתקופת האבות.
למעשה ראשיתם של החיים היהודיים במרכז אירופה במאה התשיעית והעשירית. האימפריה הקרולינגית המתרחבת הציעה אפשרויות עסקיות לסוחרים עם קשרים בינלאומיים. באיזכור הראשון לנוכחות יהודית באוסטריה (798 – 821) מסופר על רופא יהודי, ובתקנות המכס של ראפלשטטנר, המסדירות את המכסים על מסחר בנתיבי הדנובה בשנים 903 – 905 מוזכרים סוחרים יהודים. התפשטותה המהירה של ההתיישבות היהודית בארצות אוסטריה בימי הביניים המאוחרים (המאה ה- 12 וה- 13) כרוכה בשגשוג הכלכלי של אירופה. בין היישובים יהודים מאותה תקופה קלוסטרנויבורג (1187), וינה (1194), וינר-נוישטאט (1230) וטולן (1237), כולם (להוציא את וינר-נוישטאט) סמוכים לנהר דנובה.
ההתיישבות הראשונית של יהודים בווינה החלה בשלהי המאה ה- 12, כאשר הזמין הדוכס לאופולד החמישי (1157 – 1194) את היהודי שְלום, מומחה בטביעת מטבעות. מאז ימי הדוכס רודולף הרביעי (1271 – 1290) היתה קהילת וינה הגדולה באזור הבסבורג, בעיקר בשל הגירת יהודים מהונגריה. בשיא חיו בווינה כ- 900 יהודים. בתוך כמה דורות צמחה משפחה אחת לקהילה פורחת. בסוף המאה ה- 13 ובמאה ה- 14 נחשבה קהילת וינה למנהיגתה של היהדות הגרמנית. משנות ה- 40 של המאה ה- 14 ועד לשנות ה- 70, חיו היהודים בעיקר בווינה ובקרמס, וגם בלאה, בטולן, בסאנקט פולטן ובווינר-נוישטאט ישבו יהודים ישיבה של קבע.
היהודים באותה תקופה עסקו בעיקר במסחר, בסחר המטבעות (מהמאה ה- 12), וגם בניהול כספים, בחכירה של תחנות מכס ובהחזקת המכס והִמטבעות בשירות דוכס אוסטריה וטירול, או בשירות הארכיבישוף של זלצבורג.