יהודים חיו באגנבורג במשך כל המאה ה- 14. בשנת 1408 חיו שתי משפחות יהודיות ברחוב אשר נקרא כיום קרמר, ונראה כי היה להן בית כנסת. היהודים סבלו מרדיפות לאחר שהואשמו בחילול לחם הקודש בפולקאו ב- 1338.
בשנים 1348-1378 עדיין חי באגנבורג יהודי ששמו דוד. ב- 1516 יהודים שגורשו מלייבאך עברו לאגנבורג, שהייתה עיירת גבול בה הורשו היהודים להתיישב. ב- 1544 גורשו היהודים מאגנבורג.