עם סיפוחה של אוסטריה אל גרמניה הנאצית, ה"אנשלוס" ב- 13 במרץ 1938, השתנה גורלם של יהודי אוסטריה מן הקצה אל הקצה. עד 1942 נאלצו כמעט כל היהודים (220,000 על פי ההגדרה הנאצית, 181,778 מהם חברים רשומים בקהילה היהודית, ה"IKG" ) להגר, או גורשו אל מחנות ריכוז. 65,000 יהודים אוסטרים נספו בשואה.
בשבוע הראשון אחרי האנשלוס, ניצבו היהודים מול פרץ אכזריות ואלימות גלויה, ושוד וגזל של נכסיהם. אילצו נשים יהודיות להסיר סיסמאות פוליטיות ממשכן הממשלה האוסטרית לשעבר בידיים חשופות, או מן המדרכות בעזרת מברשות שיניים. אילצו ילדים יהודים לכתוב "יהודי" על חלונות החנויות של הוריהם, משכו יהודים אורתודוכסים בזקנם, אילצו יהודים בפראטר שטרן לשכב ארצה ולאכול דשא. אירועים מסוג זה חדלו במהירה, אך לא היה זה הגרוע מכל. עד אמצע יוני, סולקו היהודים מחיי הציבור, ביסודיות שעלתה על זו שבגרמניה אחרי חמש שנות שלטון נאצי. עשרות אלפי שכירים יהודים פוטרו ממקום עבודתם. מאות יהודים שמו קץ לחייהם באותה תקופה.
"ליל הבדולח" היה השלב האחרון בהרס הקהילה היהודית. האלימות הנאצית התחדשה בתחילת אוקטובר, אלפי משפחות יהודיות פונו מבתיהן בערב יום כיפור. באמצע אוקטובר פגעו הנאצים בכמה בתי כנסת וחנויות בבעלות יהודית. יומיים לפני ההצתה המתוכננת של בתי הכנסת, פרסם היומון הנאצי " Volkischer Beobachter " את כתובותיהם של כל בתי הכנסת בווינה. חברי האס.אס ו"נוער היטלר, שהיו הפושעים העיקריים בליל הבדולח, קיבלו פקודה להשאיר את המדים בבית, ולא לבזוז. כל בתי הכנסת בווינה (פרט לאחד), 24 במספר, ו- 70 בתי תפילה הוצתו, חוללו ונשדדו. מעל ל- 4,000 חנויות נבזזו. אנשי ה S.A. החרימו והעבירו אל ידיים אריות כאלפיים דירות רק ברובע הראשון. הם הרסו רהיטים ומזרנים בחפשם אחר חפצי ערך. 27 יהודים נרצחו ו- 88 נפצעו קשה. כ- 8,000 יהודים נעצרו, וחלקם נשלחו אל מחנה הריכוז דכאו. גם בגראץ, בזלצבורג, בקלאגנפורט, בלינץ, באינסברוק, בבאדן, באייזנשטאט, בברנדורף ובבאד פוסלאו הוצתו בתי כנסת.
מיד אחרי הסיפוח פורסמו חוקים נגד היהודים. אחרי פרסומו של חוק "נומרוס קלאוזוס", שהגביל את מספר הסטודנטים היהודיים באוניברסיטה, סולקו הסטודנטים המעטים שנותרו מ- 8 בדצמבר ואילך. באפריל 1938, הועברו 16,000 תלמידים בבתי ספר יסודיים ותיכוניים אל כתות נפרדות, ובהמשך רוכזו בשמונה בתי ספר יהודיים, אשר נסגרו בסוף שנת הלימודים 1939. ב- 20 במאי 1938 נתפרסמו באוסטריה חוקי נירנברג. 34,500 אנשים שעד אז לא נחשבו ליהודים, הוגדרו כעת כ"יהודים על פי גזעם". מ- 2 ביולי נאסר על יהודים להיכנס אל רוב הפארקים הציבוריים, ובסוף ספטמבר 1938 נאסר על עורכי דין ורופאים יהודים לטפל בלקוחות לא-יהודים.
זמן קצר אחרי ליל הבדולח, נאסר על יהודים לצאת בשעות מסויימות. ממש לפני שפרצה המלחמה, נאסר עליהם גם להאזין לרדיו, או להימצא בחוץ אחרי השעה שמונה בערב. האיסור האחרון היה עילה למעצרי לילה רבים. אחרי ה- 1 בספטמבר 1941 אולץ כל יהודי מעל לגיל שש לענוד טלאי צהוב. ב- 1942 היהודים המעטים שנותרו בווינה לא הורשו להשתמש בתחבורה הציבורית, להסתפר אצל ספרים לא –יהודים, ולקנות עיתונים.
פרץ האלימות, והשינויים המשפטיים והכלכליים בעקבות האנשלוס הבהירו לרוב היהודים הבהר היטב כי עליהם לעזוב את המדינה בהקדם האפשרי. החל מיום 18 במרץ 1938 איבד ה IKG את האוטונומיה שהייתה לו, ונחשב מעתה לארגון סיוע והגירה (ובהמשך – גירוש) בלבד. ה IKG ארגן קורסים להכשרה מקצועית וחקלאית ליותר מ- 42,000 יהודים, כדי להקל עליהם למצוא עבודה בחוץ לארץ.
באוגוסט 1938 הוקם בווינה "המשרד המרכזי להגירה יהודית", בפיקודו של אדולף אייכמן. המשרד ארגן הגליה, רדיפה וגירוש של יהודים אוסטרים ביעילות שכזו, שבגרמניה למדו והעתיקו את שיטותיו. גוף מיוחד היה מופקד על העברת הרכוש היהודי לידיים אריות.
היה קשה מאד להשיג ויזה משום שרוב הארצות לא רצו לקבל פליטים יהודים. הנאצים דאגו להעשיר את קופת הרייך השלישי בגזילת כל רכושם של היהודים, לפני שאיפשרו להם לצאת את אוסטריה. הותר להם לקחת עמם רק 30 מארקים (ובהמשך 10 מארק בלבד) בצאם. עד פרוץ מלחמת העולם השנייה, ארגוני סיוע יהודיים מחוץ לארץ הפעילו בתי תמחוי בווינה, ושילמו את עלות ההגירה. עד סוף נובמבר 1939 עזבו את אוסטריה מעל ל- 120,000 יהודים. נותרו בה 66,260 יהודים, ועוד כ- 30,000 יהודים "על פי גזעם", כפי שהוגדרו בחוקי נירנברג. לפני שהסתיימה ההגירה החוקית, בנובמבר 1941, נמלאו אלפיים יהודים נוספים. 30,850 יהודים עברו לבריטניה, 28,615 לארה"ב, 18,124 לסין (רוב הפליטים התיישבו בשנגחאי), 9,195 לישראל. אחרים מצאו מקלט ב- 85 ארצות שונות בכל העולם.
גירוש יהודי אוסטריה אל המחנות החל באוקטובר 1938, זמן קצר אחרי שנפסקה ההגירה החוקית. כאלף יהודים גורשו לניסקו על-נהר סאן. בנובמבר 1939 הודיע אייכמן ל IKG שכל היהודים אשר לא יהגרו בתוך שנה אחת – יגורשו אל שטחי פולין הכבושים. בין פברואר למרץ 1941 גורשו 5,000 יהודים לאזור לובלין. מאוקטובר עד תחילת נובמבר גורשו 5,486 יהודים אל גטו לודז'. בסוף 1941, אחרי כיבוש חלקים מבריה"מ על ידי הנאצים, גורשו 3,000 יהודים אל הגטאות בריגה, במינסק ובקובנה. אחרי ועידת ואנזה, הודיע אייכמן על תכנית הפינוי שלו, במסגרתה גורשו 3,200 יהודים אל ריגה, 8,500 אל מינסק, 6,000 אל איזביצה ולעוד מקומות באזור לובלין. בין יוני לאוקטובר גורשו 13,900 קשישים אל טרזינשטאט. ביום 10 באוקטובר 1942 יצא הטרנספורט האחרון אל טרזינשטאט, ובו 1,300 אנשים. ארגון IKG פורק רשמית ביום 1 בנובמבר 1942. רוב היהודים שנותרו, 7,000 במספר (על פי חוקי נירנברג 8,000) ניצלו משום שהיו נשואים ללא יהודים, אולם נשלחו לעבודות כפייה, ואם נפטר בן הזוג הלא יהודי – סכנת גירוש ריחפה מעל לראשם.
"מועצת הזקנים" היהודית החליפה את ה IKG, וייצגה את היהודים שנותרו באוסטריה בפני הרשויות, ניהלה בית חולים, בית קשישים, בית תמחוי וסיפקה שירותי קבורה.
בשנת 1943 חיו במחתרת כ- 800 יהודים. ביולי ובדצמבר 1944 גורשו אל וינה ואוסטריה תחתית כ- 60,000 יהודים מהונגריה, ועבדו בעבודות כפייה. מתוכם 1,150 גורשו לטרזינשטאט ממש לפני שיחרור וינה. בחודשי המלחמה האחרונים, אלפי יהודים שפונו ממחנות הריכוז עברו באוסטריה.
בנוסף ל- 50,912 יהודים בקירוב שגורשו מאוסטריה לגטאות ולמחנות ההשמדה, נתפסו 17,050 יהודים נוספים בארצות אירופה אחרות שהגרמנים כבשו. רק 1,747 שבו לאוסטריה אחרי שהמלחמה נגמרה. הקבוצה הגדולה ביותר של יהודים אוסטרים שרדה את השואה בטרזינשטאט, ומנתה 1,293 אנשים.
אוסטרים מילאו תפקיד חשוב בתיכנון וניהול גירושם והשמדתם של יהודי אירופה. לא רק אייכמן, גלובוצניק, קלטנברונר, ברונר והיטלר עצמם, אלא 40 אחוזים מסגל מחנות ההשמדה, וכ- 14 אחוזים מאנשי האס.אס. היו אוסטרים.
מחנה הריכוז האוסטרי מאוטהאוזן (על יד לינץ) היה מהגדולים והנוראים בתחומי הרייך השלישי, בו עבדו אסירים בפרך במחצבות, ומתו בתוך כמה חודשים מרוב עבודה.