מסמכים מעידים כי ראשוני היהודים התיישבו בקרמס במאה ה- 12. יהודי ששמו ארנוסטוס מוזכר כעד בתעודה משנת 1136.
הדוכס אוטוקאר השני (1233-1278) העניק ליהודים פריבילגיות בקרמס. יהודים חיו במקום בשנות החמישים והששים של המאה ה- 13. באותה תקופה הייתה קרמס מרכז יהודי חשוב אף יותר מווינה, בשל קשרים כלכליים הדוקים עם הדוכס אוטוקאר. במחצית השנייה של המאה ה- 13 היה ליהודים במקום דיין וישיבה, וכן "יודנמייסטר", מנהיג הקהילה (הראשון שמתועד באוסטריה), ששמו היה שמואל. ב- 1264 יהודי ששמו ישמעאל נתן הלוואה לשני תושבי קרמס.
ב- 1293 הובילה עלילת דם לרצח של שני יהודים עניים. היהודים האמידים יותר יכלו לקנות להם חופש. ב- 1349 תקף המון מקרמס ומכפרי הסביבה את היהודים, שדד בתים, ורצח אנשים רבים. יהודים אחדים יכלו להימלט לטירה. אחרים שרפו עצמם בבתיהם. ב- 1355 שוב חיו יהודים במקום.