העדות הראשונה לנוכחות יהודית בגראץ היא מצבה משנת 1304, משמע שבמקום הייתה עוד קודם לכן קהילה יהודית ולה בית עלמין.
משנת 1350 ועד לגירוש ב- 1438 שכן הרובע היהודי בדרום מזרח העיירה, בשני צדי הדרך המובילה להונגריה, אשר קישרה בין רחוב בורגר (שנקרא הרן עד שנת 1490) לבין הככר הראשית. במתחם זה התיישבו יהודים בעיקר ב"רחוב היהודי הישן" וברחוב בורגר. אחרי שגורשו התיישבו באזור, שמיקומו נחשב מצויין, נוצרים בני המעמד הגבוה. מרכז הרובע היהודי היה "רחוב היהודים" (כיום הרחובות מסנר, יונגפרן ופראואן). במפגש הרחובות פראואן ושטובנברג נמצא "שער היהודים" בחומת העיר העתיקה.
היהודים גורשו מגראץ בשנת 1439, ושבו והתיישבו במקום מ- 1447 ואילך, ב"רחוב היהודים החדש". בית הכנסת הראשון ניצב עד 1438 ברחוב היהודים הישן, והשני (נבנה אחרי 1447) ברחוב הרן, מול המנזר הדומיניקני. בשנת 1400 בקירוב חיו בקהילה כמאתיים יהודים, ובמחצית השנייה של המאה ה- 15 נמנו שם כ- 25 משפחות יהודיות, כ- 150 נפשות. רוב היהודים היו מלווים בריבית. אחד מהם היה גם סוחר ויבואן יין, שעשה עסקים עם נוצרים.
ב- 1438 שוב גורשו היהודים, ובתיהם הוחרמו על ידי הדוכס פרידריך החמישי. ב- 1447 הם הורשו לשוב, וגורשו שוב ב- 1496 – הם וכל יהודי סטיריה – על ידי הקיסר מקסימיליאן הראשון. יהודים אחדים עברו מגראץ לאייזנשטאט.