יליד וינה. אביו היה רופא נודע. הישגו הספורטיבי הראשון היה כשניצח בתחרות ארצית בשחיית-נהר, בשנת 1892. היה חבר בנבחרת השחייה האולימפית של אוסטריה והשתתף במשחקים האולימפיים הראשונים באתונה ב- 1896. הוא זכה במדליית זהב (500 מטרים בסגנון חופשי). הוא וספורטאי נוסף היו האוסטרים היחידים שזכו במדלייה.
נוימן היגר לארצות הברית והצטרף לנבחרת בית הספר לרפואה באוניברסיטת שיקגו ולאיגוד הספורטאים של שיקגו. קבע שני שיאי עולם בתחרויות השחייה של 1897 (שני מיילים, שלושה, ארבעה וחמשה מיילים).
נוימן זכה באליפות הארצית של קנדה ושל ארצות הברית בשחייה חופשית. בשנת 1897 עבר לאוניברסיטת פנסילבניה והצטרף לנבחרת פולו מים.