יליד וינה. אביו היה מוזיקאי ולימד אותו פסנתר. הרמן התחיל בקריירה מוזיקלית כבר בגיל הנעורים.
אחרי מלחמת העולם הראשונה כתב, יחד עם הקומיקאי פריץ ויזנטל, מופע קברט בשם "לאופולד וויזנטל". בשנות העשרים והשלושים הלחין הרבה שירים, להיטים מאד מצליחים בווינה, וקיבל את פרס מסדר הכסף בשנת 1937.
אחרי סיפוחה של אוסטריה אל גרמניה הנאצית (מרץ 1938) נעצר ונשלח אל מחנות הריכוז דכאו ובוכנוולד. בבוכנוולד הלחין יחד עם ד"ר פריץ בדה שיר על המחנה?, שהאסירים נאלצו לשיר כשצעדו. משפחתו של לאופולדי שילמה עבורו לגרמנים כופר נפש גבוה והוא שוחרר והוגלה לארצות הברית. הוא ניגן פסנתר ב"אלט וינה".