Nasceu em Budapeste e estudou em Zurique e nas Universidades de Berlim e Budapeste. Viajou para os EUA em 1930 para frequentar a Universidade de Princeton. Após 1933, associou-se ao "Institute for Advanced Study" também em Princeton. Nacionalizou-se cidadão americano em 1937, e durante a II Guerra Mundial foi consultor no projecto da bomba atómica "Los Alamos". Em Março de 1955, tornou-se membro da "U.S. Atomic Energy Commission".

Destacou-se pela sua contribuição à teoria dos quantos mecânicos, particularmente, pelo conceito de "círculos operadores" (conhecidos como a álgebra de Neumann). Também ficou célebre pelo design de computadores electrónicos de alta velocidade, tendo construído, em 1952, o primeiro computador a utilizar um programa de armazenamento flexível: o MANIAC I. Em 1956, a "U.S. Atomic Energy Commission" concedeu-lhe o prémio Enrico Fermi pelas suas fantásticas contribuições para a teoria e para o design de computadores electrónicos.

Além da Mecânica Quântica, von Neumann teve também importantes contributos para a Teoria dos Jogos(jogos e probabilidade), Teoria dos Conjuntos, Econômia e Ciências da Computação. No caso concreto das Ciências da Computação, foi um dos grandes responsáveis pela concepção dos primeiros computadores de alta velocidade, os quais viriam a permitir a bomba de hidrogénio nos Estados Unidos da América. O conceito de von Neumann (traduzido através da famosa arquitectura de von Neumann) estabelece que as duas características básicas de um computador são a memória e o sistema de transferência de informação segundo um programa pré-concebido.

Os principais marcos da carreira de John von Neumann estão enumerados na cronologia abaixo, reproduzida de Bochner (1958).