נולד ביאסי, רומניה. קצת לפני גיל עשרים המיר דתו לקתוליות. מגיל 18, במשך חמישים שנה, היה רוזה כנר ראשון ומנצח באופרה הווינאית ובתזמורת הפילהרמונית של וינה, וגם בהרכבים נוספים. בשנת 1882 הקים וניהל את "רביעיית רוזה", שזכתה להכרה ברחבי המערב. עד שנת 1924 לימד באקדמיה למוזיקה של וינה.
אחרי סיפוחה של אוסטריה אל גרמניה הנאצית (ה"אנשלוס", מרץ 1938) נמלט רוזה לאנגליה. אשתו היתה ג'סטין מאהלר, אחותו של המלחין גוסטב מאהלר. אחיו ובתו, גם הם מוזיקאים, נספו במחנה ההשמדה אושוויץ.