@asdftge: Ein Supercomputer ist kein Zauberrechner. Es ist wie ein Rechnercluster aus konventionellen CPUs (meistens sogar recht langsame CPUs wegen der kosten und der Wärmeentwicklung), der entscheidende Unterschied ist, dass die durch ein fettes Bussystem verbunden sind, was - entgegen zu normalen Rechnerclustern - paralleles Rechnen mit (relativ) viel Kommunikation zwischen den CPUs möglich macht. Effektiv ist es daher wie ein einzelner Computer mit zehntausenden Kernen. Und das kann man durch nichts anderes ersetzen.
Du darfst dir auch nicht vorstellen, dass jedes Programm alle diese Kerne benutzt. Auf so einem Rechner arbeiten hunderte Arbeitsgruppen gleichzeitig, manche brauchen für ihr Programm eben tausende Kerne, manche nur ein paar Dutzend. Oder auch mal viele Programme parallel auf einem Kern, wenn die Arbeitsgruppe sonst keinen Zugang zu einem normalen Rechnercluster hat.
Technisch gesehen sind das, wie schon angedeutet, recht normale CPUs. Gerne auch mal Eigenentwicklungen des Herstellers, aber nichts, was man sich nicht auch in einem Heimrechner denken könnte. Meistens mit recht vielen Cores und dann vier bis acht von diesen CPUs auf einem Board, so dass man dann Rechner mit 16-64 Cores hat. Und diese dann mit Infiniband verbunden. Die RAM-Ausstattung ist meistens eher klein und bewegt sich in den Bereichen, die man auf Heimrechnern hat, also ein paar Gigabytes pro Core. Das liegt da dran, dass die Probleme die man auf Superrechnern löst meistens nicht sehr RAM-Intensiv sind. Wenn man viel RAM braucht, hat man einen Spezialrechner mit ein paar hundert Gigabytes in der Arbeitsgruppe stehen, für einen Supercomputer der von vielen verschiedenen Gruppen genutzt wird, ist diese Anforderung zu exotisch, um Geld da drin zu investieren.
