נולד בעיירה קסטהיי, הונגריה. אביו היה חזן, שזיהה את כשרונו המוזיקלי של הבן ושלחו ללימודים בווינה. אחיו החורג יוזף מימן את הלימודים. בשנים 1845 – 1848 היו שני האחים מעורבים בפעילות מהפכנית. הם נתפסו אך הצליחו להימלט. קארל עצמו אף ניצל ממוות ביריה הודות להתערבות של ידיד.
גולדמארק התיישב בווינה ועבד כמורה, כמנצח ומלחין של מוזיקה תזמורתית. יצירותיו הצליחו מאד בווינה ובערים אחרות, ביניהן האופרה "מלכת שבא" (1875), והסימפוניה "לנדישה הוכצייט" (1876), שעליה עמל במשך עשר שנים. גולדמארק חיבר אופרות נוספות, מוזיקה קמרית, קונצ'רטים לכינור, ועוד. הוא תמך בביצוע יצירותיו של וגנר באוסטריה.
חיבר אוטוביוגרפיה ששמה "מחייו של מלחין וינאי", אשר תורגמה לאנגלית בשנת 1927.