נולד בבוואריה ולמד אצל רבנים ותלמידי חכמים. יצחק לב הופמן פון הופמנשטאל (1828) הזמין אותו לווינה לכהן כרב ראשי. הוא נעתר, אולם לבסוף נתמנה לממונה על הטקסים ולא לרב הראשי, משום שהרשויות עדיין לא הכירו בקהילה היהודית באופן רשמי.
הרב הורוביץ היה קפדן בהלכה. אחרי מותו הוציאו בניו לאור ספר שו"ת ששמו "יד אלעזר", ובו חלק מהבעיות שנשאל עליהן. פסיקה חשובה לדוגמא: הורוביץ הסכים להשתמש בספוג במקום במציצה בעת המילה. הוא ניסה לפייס במחלוקות בין גורמים שונים בקהילה היהודית. יחד עם אחרים השתתף במאבק לביטולה של "שבועת היהודים" בבתי המשפט.
הורוביץ השתתף במהפכת 1848 וניסה להכניס שיפורים בחקלאות. בשנת 1851 הצליח למנוע את גירושם של מאות משפחות מווינה.
הורוביץ היה המורה החביב על הארכידוכסית מריה דורותיאה, שהתעניינה בספרות עברית והאמינה בשיבת היהודים לארץ ישראל.
עמדתו האמביוולנטית בנושאים שונים ביהדות, ובייחוד בנושא המשיחיות, עשוהו פופולרי מאד. נהג להרצות בבית המדרש של אדולף ילינק ולכתוב בכתבי עת רבים. ידידים רבים היו לו וגם יריבים לא מעטים בעלי חשיבה יותר קונסרבטיבית, ביניהם עזריאל הילדסהיימר.
הרב הורוביץ נפטר בווינה בשנת 1868