נולד בטרנאבה (טירנאו), כיום בסלובקיה. למד לרבנות בווינה. בשנת 1900 נתמנה לרב של סמישוב (פרבר של פראג), ולבסוף נתמנה לרבה של גראץ, ולרב הראשי של סטיריה, וכמו-כן לימד לשונות שמיות באוניברסיטת גראץ. כשפלשו הנאצים אל צ'כוסלובקיה, עצרו אותו בביתו והשליכוהו לנהר.
הרב הרצוג ניצל ונמלט לאנגליה, שם התיישב באוקספורד. הוא חיבר מאמרים בנושא ספרות יהודית בימי הביניים, בייחוד ספרות יהודית-ערבית, וגם על תולדות היהודים באוסטריה.