Az ENIAC még el sem készült, amikor Neumann irányításával elkezdődött az EDVAC megépítése.
Neumann azt vallotta, hogy a számítógép nem egy vagy több emberé, hanem az egész emberiségé. Nem egy ember találta ki, hanem matematikusok és mérnökök hada. Ellene volt annak, hogy egyesek hasznot húzzanak belőle. Ezért elkészítette az EDVAC teljes leírását, hogy megakadályozza Mauchly és Eckert szabadalmaztatási szándékát, majd publikálta azt, és így lehetetlenné tette, hogy az elvet szabadalmaztassák.
A működését 1949-ben kezdő EDVAC (Electronic Discrete Variable Computer) is belső programvezérlésű, elektronikus, digitális, univerzális számítógép volt. Ez a gép már valamivel megbízhatóbban működött, mint az ENIAC, de lényegében ugyanazok voltak a bajai (alkatrészek gyakori cseréje, nagy fogyasztás, hatalmas költségek).
Azonban az EDVAC volt az első Neumann-elven működő gép.
"First Draft of a Report on the Edvac" című, 1945-ben megjelent művében írta le azokat az alapelveket, amelyeket azóta a tudományos világ "Neumann-elvek"-ként tart számon. Ezek a következők:
- a kettes számrendszer alkalmazása,
- teljes mértékben elektronikus elven működő számítógép,
- központi vezérlő egység,
- aritmetikai egység alkalmazása,
- belső program- és adattárolás, programvezérlés
Nemcsak a számítógép elvi felépítése, hanem a tervezése során is újat alkotott. Ő dolgozta ki és vezette be a számítógép logikai struktúráját részletesen ábrázoló szimbólumrendszert. Az általa kidolgozott szimbolika a matematikai szimbólumok rendszeréhez hasonló jelentőséggel bír.
A tárolt program elvét nagyon egyszerűen lehet megfogalmazni: a korábbi gépek külön adat- és programtárolóit egy tárban fogta össze. Az elvet a szükség teremtette meg, ugyanis megoldást keresett arra, hogyan lehetne a számítógépeket gyorsabban programozni. Ez a megoldás annyira jól sikerült, hogy még ma is a világ valamennyi számítógépe ezen az elven működik.
Számtalan kutatás folyik a nem Neumann elvű gép kifejlesztésére, eddig még gyakorlatilag nem sikerült. A bejelentett eredményeket egy kicsit gondosabban megvizsgálva, mindig előjön a Neumann elv, bizonyítva, hogy a nem Neumann elvű gép is Neumann elven működik.
Az EDVAC 1948-ban készült el, melynek építésében Neumann is részt vett.