monotonic_buffer_resource sorgt für DMA Interrupt Error

[Quiche Lorraine]

@D_Key sagte in monotonic_buffer_resource sorgt für DMA Interrupt Error:

Ich hatte das als header Only Datei, aus faulheit.
habe jetzt ein cpp Datei dazu gebastelt jetzt passt das.
Ob das jetzt das Problem war weiß ich noch nicht.

Ein glasklares Nein. Embedded Entwicklung ist durch die Hardware-Nähe tückisch. Und ich habe schon selbst Spaß mit einem Watchdog gehabt.

Das ist eigentlich so eine Phase wo ein genaues Studium der Doku rätsam wäre.

Ja, da hätte ich ein volatile davor gesetzt, nicht das dir da der Optimizer quer kommt

Nö, es war eine 8-Bit CPU welche eine 32 Bit Variable mittels Interrupt inkrementieren wollte. Also musste ich die Inkrementierung atomar machen.

[Quiche Lorraine]

Mein Tipp. Mache mal einen Belastungstest. Jage mal ordentlich Daten über den DMA und schaue ob die Daten stimmen.

[Finnegan]

@D_Key sagte in monotonic_buffer_resource sorgt für DMA Interrupt Error:

Playstation 2

Ich bin da sowas von nicht drin und kann nichts wertvolles beitragen, aber dennoch: Playstation 2? Alle Achtung! Nach dem, was ich gehört habe, gibt es wohl nur wenige Computersysteme, die dermaßen kompliziert korrekt und nicht zuletzt effizient zu programmieren sind. Viel Erfolg bei der Fehlersuche!

Mir reicht gerade völlig mein eigenes Hobbyprojekt einer x86 DOS Runtime und GCC-basierter Toolchain für die Retroprogrammierung - aber das ist vermutlich ein Kindergeburtstag gegen die PS2

[D_Key]

@Quiche-Lorraine sagte in monotonic_buffer_resource sorgt für DMA Interrupt Error:

Mein Tipp. Mache mal einen Belastungstest. Jage mal ordentlich Daten über den DMA und schaue ob die Daten stimmen.

Der Tipp ist gut, aber ich bombardiere den Grafikchip schon derartig, dass mir schon der VIF FIFO voll läuft.
Und das ist das Problem. Durch die monotonic buffer resource schränke ich den restlichen Heap weiter ein.
Beim ersten Match ist noch alles Schick, nachdem das erste Match vorbei ist, geht es wider in das Menü zurück.
Da werden wider die Sprites und Texturen für das Menü geladen, schön mit new uint16_t usw.
Zu beginn des zweiten Kampfes werden die Menü Texturen wider gelöscht.
Dadurch, das der VIF FIFO voll ist, klaut er mir RAM und ich bin schon am RAM Limit angekommen mit 28Mb von 32.
2Mb gehen schon durch kernel und IOP RAM Hops, und der VU Micro code liegt auch im RAM.

Irwas Fragmentiert also noch immer meinen HEAP, sodass der VIF Fifo irgendwann außerhalb des Speichers liegt.
Wenn ich den unique_ptr nutze findet die CPU wahrscheinlich genug Lücken wo sie die Strukturen hin Pakt, ohne das es knallt.

Einige Sachen habe ich schon gefundene,d ie HEAP Fresser sind, unordered_map und vor allem
unordered_map<int, std::vector> sind absolute heap Killer.
std::vector ist auch schon problematisch, std::function, cout, alles heap Killer.

Von Modernen c++ kann man nur die Smartpointer und std::array verwenden, der Rest ist problematisch.

@Finnegan sagte in monotonic_buffer_resource sorgt für DMA Interrupt Error:

Ich bin da sowas von nicht drin und kann nichts wertvolles beitragen, aber dennoch: Playstation 2? Alle Achtung! Nach dem, was ich gehört habe, gibt es wohl nur wenige Computersysteme, die dermaßen kompliziert korrekt und nicht zuletzt effizient zu programmieren sind. Viel Erfolg bei der Fehlersuche!

Es geht eigentlich, dank sdk auf github und google und KI kommt an recht schnell rein. Datenblätter gibt es auch irwo auf github. Und das Original Sony sdk findet man auch wenn man will. Mit einem Haufen Beispiel-Code.

Am Anfang war ich auch recht überfordert, vor allem die Grafikkonfiguration war der Hass.

Wenn du ein PC Spiel auf die PS2 Portierst, muss du dich gedanklich davon lösen, dass es Auflösungen wie 800x600 oder 1024x768 nicht gibt auf der PS2, es seiden man konfiguriert PS2 auf VGA output, was Grütze ist, weil die keinen V_Sync ausgibt nur sync on green. Und ein VGA Adpter für die PS2 sind ohnehin Goldstaub.
Beim Röhren TV muss alles ein ganzes teilbares von 64 sein.

Zum debuggen ist PCSX2 recht gut. Aber bei manchen Problemen schließt sich das Programm einfach oder es bootet ins BIOS. Das booten ins bios ist noch ok, weil man kann noch ein Register dump ausgeben. Wenn aber PCSX2 abstützt tapst man im Dunkeln. Aber PCSX2 speichert einen stack trace, das ist ultra nützlich
Wo PCSX2 gar nichts nützt ist das Timing bei DMA oder beim PSCRT Register Einstellungen, die werden komplett ignoriert.

Dann muss man sich mit FreeMcBoot und PS2-client und einer Retail Konsole helfen.
Oder man hat das Glück (so wie ich) und hat ein PS2 DEV Tool (DTL-T10000H) zu hause.
Das DEV Tool hat aber einen Nachteil, es speichert keinen Stack Trace, da ist einfach die Hard- und Software(dsedb) zu alt.
Es ist nicht schwer Playstation 2 zu programmieren aber definitiv anspruchsvoll.

[Finnegan]

@D_Key Dagegen ist Debugging bei meinem DOS-Projekt ja richtig luxuriös: Ich kann u.a. in QEMU mit FreeDOS testen. QEMU hat einen integrierten GDB Server (aktivierbar mit `-gdb'). Ich baue dann die DOS .EXE in zwei Schritten: Einmal eine ELF-Datei, mit einem über Linker Script integrierten MZ-header (DOS Executables) und vollen DWARF Debug-Informationen. Aus der erzeuge ich dann eine "rohe Binärkopie", das ist dann die DOS-Executable (MZ-Format). Die ELF-Datei verwende ich dann im GDB Debugger als "executable" und lasse den Debugger mit QEMU verbinden, während die .EXE ausgeführt wird. Das erlaubt dann volles Debugging in der IDE (Durchsteppen, Werte/Speicher inspizieren, Breakpoints setzen, etc.). Purer Luxus

Ich frage mich da gerade, ob es auch für die PS2 einen Emulator mit integriertem GDB-Server gibt. Dann wäre evtl. etwas ähnliches möglich. Eine schnelle Suche hat sowas hier zutage gefördert: Fork of PCSX2 that includes a GDB server. Keine Ahnung wie gut das funktioniert, aber vielleicht lohnt es sich ja, damit mal etwas zu experimentieren.

Wenn das PS2-Board irgendwo ein serielles Interface hat, könnte man so eventuell sogar auf echter Hardware remote-debuggen. Evtl. auch über einen USB-port. Aber das könnte sehr aufwändig sein, sowas ans laufen zu bekommen. Es gibt da diese gdbstub.c die man im Prinzip mit einkompiliert und darin dann die Kommunikation mit der Außenwelt selbst implementiert (UART oder sowas). Das GDB-Protokoll ist in dem Stub schon fertig, es braucht nur den Code um die serielle Kommunikation durchzuführen. Aber wie gesagt, das könnte ein Krampf sein, bis sowas dann halbwegs läuft, wäre aber fürs Debuggen ein Traum.

Auch das Problem mit der unpräzisen Emulation kenne ich (was du mit DMA Timing und PSCRT Register angerissen hast). QEMU und DOSBox sind für einige Dinge auch ungeeignet (speziell Hardware direkt ansprechen). Da nutze ich dann 86Box, was da deutlich präziser emuliert (und z.B. auch mit der Original Firmware/BIOS arbeitet). Es gab einige Bugs, die ich nur damit finden konnte. Auch 86Box scheint so einen GDB Server zu haben, der aber oft nicht mit einkompiliert ist. Den zu integrieren steht als nächstes an.

Und was DOS-Grafik angeht: Die VGA-Adapter kennen zwar fixe Modi mit wohldefinierten Auflösungen, sind aber im Prinzip letztendlich auch nur "ein PCB, wo etwa 300 virtuelle Drähte rausgucken". Das ist dann die Grafik-API ... da kann man dann auch nicht-Standard Modi mit konfigurieren, wenn man an Registern für Timings und Frequenzen herumbastelt (und alles richtig macht, ohne dass der CRT Monitor explodiert). Das ermöglicht dann solche Modi wie "Mode X", die ursprünglich nicht vorgesehen waren aber sich dann doch irgendwie als "Standard" etabliert haben (gerade Mode X für Spiele wie Doom damals). Solche lowlevel-Hacks sind mir also durchaus ein Begriff

[Finnegan]

@D_Key sagte in monotonic_buffer_resource sorgt für DMA Interrupt Error:

Einige Sachen habe ich schon gefundene,d ie HEAP Fresser sind, unordered_map und vor allem
unordered_map<int, std::vector> sind absolute heap Killer.

Wegen den Vorgaben des C++ Standard bezüglich Iterator Invalidation muss unordered_map auch Kollisionen mittels Chaining auflösen und kann keine offene Adressierung verwenden. Das bedeutet, dass jeder "Bucket" eine Linked List ist, die alle Einträge mit dem selben Hash enthält. Konkret ist das eine zusätzliche Indirektion und eben auch eine zusätzliche Heap-Allokation je Eintrag. Eventuell sind hier alternative Implementierungen eine gute Wahl, wie z.B. Container der Google Abseil Bibliothek oder andere.

Und: Wie wird Heap reserviert? Alles "manuell" oder über eine eine "malloc"-Implementierung? Wenn ja, welche? Eventuell ist das ja ein Punkt wo man ansetzen könnte, um Fragmentierung zu reduzieren.

[D_Key]

@Finnegan sagte in monotonic_buffer_resource sorgt für DMA Interrupt Error:

Dagegen ist Debugging bei meinem DOS-Projekt ja richtig luxuriös:

Dadurch das ich ohnehin nur Mikrocontroller Programmiere, bin ich debug Probleme gewohnt.

@Finnegan sagte in monotonic_buffer_resource sorgt für DMA Interrupt Error:

Ich frage mich da gerade, ob es auch für die PS2 einen Emulator mit integriertem GDB-Server gibt.

Bei PCSX2 ist ein Debugger mit integriert, der funktioniert auch ganz gut. Aber wie gesagt bei Timing Problemen ist der Emulator unnütz.

@Finnegan sagte in monotonic_buffer_resource sorgt für DMA Interrupt Error:

Wenn das PS2-Board irgendwo ein serielles Interface hat, könnte man so eventuell sogar auf echter Hardware remote-debuggen.

Dazu gibt es https://github.com/ps2dev/ps2gdb
Das funktioniert über die Netzwerkschnittstelle, aber das ist schnarch langsam
wenn du 20Mb an Texturen drüber schaufelst vergehen 40 Min.
Für die ersten Gehversuche ist das aber ok.

Wenn die Projekte größer werden ist FreeMC Boot und ein USB-Stick die beste Wahl.
Der USB Port ist zwar auch langsam aber immer noch besser als die Netzwerkschnittstelle.

Der richtige Kracher ist dann der MemoryCard BUS, das ist ein "Regulärer SPI Bus".
Aber es gibt eine Fallstricke es gibt kein Chip Select.
das ist anders gelöst siehe:
https://hackaday.io/project/170365-blueretro/log/186471-playstation-playstation-2-spi-interface.
Da kannst du dann die Projekte via SD-Karte laden:
https://www.trisaster.de/page/index.php?topic=575

Das beste ist aber man hat ein DEV Tool, da kann man auch den IOP+PS1 Spiele debuggen, was in PCSX2 überhaupt nicht geht.

Bei den DOS Kram bin ich raus, ich habe zwar noch einen Pentium 133 auf dem Dachboden aber ich nicht so in die DOS Welt hineingewachsen.
Obwohl ich auch gerne crystal caves und simcity damals gespielt habe.
Oder Superfrog...

@Finnegan sagte in monotonic_buffer_resource sorgt für DMA Interrupt Error:

Und: Wie wird Heap reserviert? Alles "manuell" oder über eine eine "malloc"-Implementierung?

Wie genau meinen heap initialisieren? Im Likerfile wird nur der Stack initialisiert und beim Linken die Statischen Arrays bzw in crt0.s. Der Rest der über bleibt ist der heap. std:.vector oder std::unordered_map wird beim Programmstart in den heap geladen.

@Finnegan sagte in monotonic_buffer_resource sorgt für DMA Interrupt Error:

wie z.B. Container der Google Abseil Bibliothek oder andere.

Das schaue ich mir an.

[Finnegan]

@D_Key sagte in monotonic_buffer_resource sorgt für DMA Interrupt Error:

Das funktioniert über die Netzwerkschnittstelle, aber das ist schnarch langsam
wenn du 20Mb an Texturen drüber schaufelst vergehen 40 Min.
Für die ersten Gehversuche ist das aber ok.

Texturen über die Debug-Schnittstelle finde ich auch etwas schwergewichtig. Auf einer DOS-Maschine über den seriellen Port wäre das auch nicht gerade schneller. Eher noch langsamer. Aber braucht man das wirklich? Ich würde darüber eher nur Breakpoints setzen und einzelne Variablen im Speicher inspizieren. Wenn ich die ganze Textur begutachten will, würd ich mir die dann eher auf der Maschine anzeigen lassen. Also in dem Fall dann sowas wie "printf-Debugging" nur eben mit Grafik und Texturen

@Finnegan sagte in monotonic_buffer_resource sorgt für DMA Interrupt Error:

Und: Wie wird Heap reserviert? Alles "manuell" oder über eine eine "malloc"-Implementierung?

Wie genau meinen heap initialisieren? Im Likerfile wird nur der Stack initialisiert und beim Linken die Statischen Arrays bzw in crt0.s. Der Rest der über bleibt ist der heap. std:.vector oder std::unordered_map wird beim Programmstart in den heap geladen.

Ich hab das glaube ich nicht ganz sauber formuliert. Wie wird der Heap verwaltet wenn du dynamisch zugewiesenen Speicher benötigst? Das was "übrig bleibt" ist der Heap, geschenkt. Aber auf dem arbeitet ja meist noch ein Speichermanager wie eine malloc-Implementierung bzw. im weiteren dann ein operator new der meist eben auch auf malloc aufbaut.

Statisch initialisierte std::vector und evtl. auch std::unordered_map können theoretisch auch direkt vom Compiler in der .bss oder .data Section angelegt werden. Evtl. mit einem statischen Initialisierungscode um die Datenstrukturen zu füllen (sollte von der crt0 aufgerufen werden). Aber neue Werte einfügen und eventuell auch alte löschen sollte eigentlich auch malloc/free benötigen. Zumindest für den Standard-C++-Allokator.

Kurz: bei dem SDK ist eine C Runtime dabei und die kann auch malloc/free? Ich vermute mal ja. Dieses malloc/free dürfte halt auch seinen Anteil an der "Heap-Fragmentierung" haben. Darauf will ich hinaus.

Verwendest und verwaltest du denn auch Heap-Speicher direkt oder läuft das alles über malloc/free und new/delete? Oder machst du es eventuell nur "direkt"?

In meinem DOS-Projekt habe ich auch einen solchen Heap (der Aufgrund von memory-gemappter Hardware und geladenem DOS bereits von Anfang an eine gewisse "Fragmentierung" aufweist). Den Speicher stelle ich dann dlmalloc zur Vefügung (eine simple und leichtgewichtige malloc-Implementierung). Das verwaltet dann den verfügbaren Heap dynamisch via malloc/free, auf denen dann alles weitere aufbaut. Letzten Endes eben auch die Default-Allokatoren für std::vector und andere.

[D_Key]

@Finnegan sagte in monotonic_buffer_resource sorgt für DMA Interrupt Error:

Texturen über die Debug-Schnittstelle finde ich auch etwas schwergewichtig.

Ja da gebe ich dir recht, im Grunde richtet man seinen TexturPuffer-Konfiguration einmalig ein und dann ist gut.

@Finnegan sagte in monotonic_buffer_resource sorgt für DMA Interrupt Error:

Statisch initialisierte std::vector und evtl. auch std::unordered_map können theoretisch auch direkt vom Compiler in der .bss oder .data Section angelegt werden. Evtl. mit einem statischen Initialisierungscode um die Datenstrukturen zu füllen (sollte von der crt0 aufgerufen werden).

Also was crt0 genau macht, habe ich noch nicht untersucht.
Die Datei ist aber kein Geheimnis:
https://github.com/ps2dev/ps2sdk/blob/master/ee/startup/src/crt0.c

@Finnegan sagte in monotonic_buffer_resource sorgt für DMA Interrupt Error:

Verwendest und verwaltest du denn auch Heap-Speicher direkt oder läuft das alles über malloc/free und new/delete?

Das kommt darauf an für einigen Sachen nutze ich new.
Bei den Texturen habe ich was mit align_val_t gebastelt.

Bei MIPS Prozessoren muss alles ausgerichtet sein, sonst knallt es bei SQ oder LQ ,
Sprich Store Quadword / Load Quadword.

[Finnegan]

@D_Key Ja, ich gehe davon aus, dass da irgendwo eine malloc-Implementierung drin ist. Beim groben Überfliegen hab ich auch was von "newlib" gesehen. Das ist eine flexible libc-Implementierung, die sich gut an verschiedenste Systeme anpassen lässt. Ich verwende auch für mein Projekt ein Derivat von dieser (picolibc). Das ist dann unter der Haube sehr wahrscheinlich ebenfalls dlmalloc oder eine Modifikation davon, was da den Speicher für new/delete verwaltet.

Ich versuche halt, dein Heap-Fragmentierungs-Problem zu verstehen. Das sollte sich eigentlich dadurch äußern, dass Allokationen ab einer gewissen Größe fehlschlagen, obwohl in der Summe noch genug Speicher frei wäre. Ist das korrekt?

Das mit dem VIF FIFO verstehe ich a nicht so ganz. Ich hab wie gesagt keine Ahnung von der PS2, aber wenn das stimmt was mir die KI hier erzählt, dann sollte der eigentlich nicht im Hauptspeicher liegen, sondern ein relativ kleiner (nur 128 Byte großer) Hardware-Puffer der Vector Instructional Unit (VIF) sein, der ausschließlich über spezielle Register angesprochen wird. Also nicht über MMIO in den Hauptspeicher-Adressraum gemappt. Daher ist mir etwas unklar, wie sich das mit dem normalen RAM und dem Heap in die Quere kommen kann.

Der FIFO sollte eigentlich auch nur sehr kleine und kompakte Grafik-Kommandos beinhalten. Kann es vielleicht sein, dass sich da irgendwas staut und die Kommandos nicht abgearbeitet werden, so dass sich letztendlich dann auch sowas wie geladene Texturen im RAM unterwegs in den VRAM (via DMA?) ansammeln und den voll machen? Das wäre zumindest für mich einleuchtender. Aber wie gesagt, keine wirkliche Ahnung von der Kiste

@D_Key sagte in monotonic_buffer_resource sorgt für DMA Interrupt Error:

align_val_t

Ich kenne da deine konkrete Problematik nicht, aber Klassen und Daten-Member sollten sich eigentlich mit alignas(N) passend ausrichten lassen. Automatische Variablen, die Default-Allokatoren und new/delete sollten das auch entsprechend respektieren. Eine selbst-implementierte std::pmr::monotonic_buffer_resource sollte das in do_allocate() über den Alignment-Parameter natürlich auch berücksichtigen. dlmalloc sollte auch auf malloc/free-Ebene posix_memalign() unterstützen. Da müsste man mal schauen, ob das nach einem #include <malloc.h> zur Verfügung steht. C++17 kennt auch std::aligned_alloc(). Nur so als Anregung, aber offenbar hast du das Problem ja bereits gelöst.