נולד בווינה לאיגנץ ולג'ני (לבית פיילנדורף) פרנק. למד פזיקה באוניברסיטת וינה וקיבל דוקטורט בפיזיקה תיאורטית בשנת 1907. באותה שנה כתב מאמר חשוב על סיבתיות. ד"ר אלברט איינשטיין התרשם מרעיונותיו, וכך נולד קשר רב שנים של ידידות ושל חילופי רעיונות.
פרנק נתמנה למרצה באוניברסיטת וינה ב- 1910, וב- 1912, על פי המלצת איינשטיין, החליפו בתפקיד ראש החוג לפיזיקה תיאורטית באוניברסיטה הגרמנית של פראג, שם עבד עד 1938.
הסכם מינכן הביא למסירת חלקים גדולים מצ'כוסלובקיה לידי גרמניה. על פרנק ועל רבים מעמיתיו הופעל לחץ פוליטי, והם נמלטו לארצות הברית. תחילה נתמנה לתפקיד מרצה אורח, ואחר קיבל קביעות כמרצה למתימטיקה ולפיזיקה בהארווארד.
ב- 1947 חיבר ביוגרפיה ששמה "איינשטיין, חייו ותקופתו". פרנק עבד במגוון תחומי המתימטיקה, ויחד עם פרסומיו בפיזיקה ובפילוסופיה עסק בקשת תחומים מרשימה מאד. במתימטיקה עסק בקלקולוס של וריאציות, סדרות פורייר, מרחבי פונקציות, אופטיקה גיאומטרית המילטונית, מכניקת הגל של שרדינגר, ויחסות.