Die DAT-File-Verschwörung

[Linulo]

Die DAT-File-Verschwörung

Ich bin ein vernunftbegaber Mensch, wenn mir jemand etwas erklärt, versteh ich's meistens. Bei DAT-Files ist das anders. Ich habe nach Erklärungen gesucht und immer wieder gefunden:

DAT-Files enthalten Informationen über ROMs und werden von MAME gebraucht.

Aber das hilft mir nicht weiter. Zum Beispiel meldet eine MAME-Installation, dass ein ROM kaputt sei, obwohl dasselbe ROM in einer anderen MAME-Installation prima läuft.

Hier meine Vermutung, wie die Dinger funktionieren, wenn's falsch ist, wäre ich für Korrekturen dankbar:

• DAT-Files enthalten Checksummen der ROMs. Beim Starten werden die ROMs aus dem Set überprüft. Wenn die Checksummen nicht stimmen, gibt's nen Fehler.
• DAT-Files enthalten die für ein Set benötigten ROMs. Wenn in dem Set ROMs fehlen (z.B. weil sie ein Clone sind und einige ROMs im parent sind) gibt's einen Fehler.
• Zu bestimmten Mengen von Sets kann man sich DAT-Files herunterladen, die müssen dann aber genau zu den Sets passen.
• Wenn man sich sicher ist, dass die Sets in Ordnung sind, kann man dazu eigene DAT-Files erzeugen (mit ClrMamePro?) und alles ist in Butter.
• ClrMamePro kann auf magische Weise DATs von MAME bekommen. Wie genau würde mich echt mal interessieren.

Kann jemand vielleicht ein wenig Licht ins Dunkel bringen? Ich habe ein paar ROMs, die funktionieren, möchte sie aber auch auf meiner XBox spielen und dort werden alle als kaputt angemeckert. Außerdem würd ich's wirklich gerne mal verstehen. Im Gegenzug schreibe ich gerne ein Tutorial, das das endlich mal gescheit erklärt.

 

[apfelanni]

jede mameversion benötigt ein spezielles romset , da es immer wieder zu änderungen kommt. alte roms können laufen , müssen se aber nicht. im pc bereich sage ich einfach mal besorg zu deiner jeweiligen version das passende set und der fisch ist gegessen . wenn du natürlich für irgendne uralt xboxmameversion roms zusammen suchen musst , dann wirds halt tricky.

 

[Linulo]

Danke für die Antwort.

jede mameversion benötigt ein spezielles romset , da es immer wieder zu änderungen kommt. alte roms können laufen , müssen se aber nicht.

Die ROMs bleiben immer gleich, nur können ältere MAME-Versionen mit einigen ROMs, und unter Umständen auch neuere MAME-Versionen mit älteren ROMs, nichts anfangen. Soweit richtig?

Dann wären die Checksummen in den DAT-Files also nur dazu da, um ein Set zu identifizieren (auch dann, wenn es z.B. falsch benannt ist), um dann einfach in der Liste der unterstützten Sets nachzuschauen. Zusätzlich kann natürlich überprüft werden, ob ein ROM kaputt ist, aber das scheint bei mir nicht so zu sein.

Merkwürdig ist, dass ich die Fehlermeldung "ROM Soundso missing" bekomme, aber das Problem kann doch kein fehlendes ROM sein, wenn das Set anderswo läuft. Dann hätte die Fehlermeldung bestenfalls lauten müssen "Set nicht unterstützt".

im pc bereich sage ich einfach mal besorg zu deiner jeweiligen version das passende set und der fisch ist gegessen .

Neeeiiiiin, nicht Du auch :headbonk::headbonk:. Ich möchte ja keine Therapie sondern eine Diagnose, damit ich verstehe, was da überhaupt passiert.

wenn du natürlich für irgendne uralt xboxmameversion roms zusammen suchen musst , dann wirds halt tricky.

Ich hab ja nicht tausende ROMs, nur eine handvoll. Ich würde auch eine DAT per Hand schreiben, wenn's sein muss. Hauptsache der MAME lässt sich erstmal dazu überreden, das Set zu starten. Wenn's dann läuft, trag ich's in die DAT ein, ansonsten halt nicht.

 

[Konrad]

Die ROMs bleiben immer gleich, nur können ältere MAME-Versionen mit einigen ROMs, und unter Umständen auch neuere MAME-Versionen mit älteren ROMs, nichts anfangen. Soweit richtig?

Nein, falsch. ROM-Sets ändern sich. Und das sehr häufig.

MAME ist ja ein Emulator, an dem kontinuierlich gearbeitet wird. Jedes Spiel, das man in MAME starten kann, hat einen eigenen Treiber in MAME. Diese Treiber sind aber nie direkt perfekt.
Anfangs hat man dann halt in "neuen" Spielen" falsche Farben, der Ton fehlt, oder Spiele starten gar nicht.

Im Zuge der Verbesserung des Treibers fällt dem Programmierer dann auf, dass änderungen am ROM-Set vorgenommen werden müssen, z.B.
- Ein oder mehrere ROMs sind in falscher Größe oder fehlerhaft gedumpt worden, also wird es nochmal korrekt gedumped. Resultat: Andere Checksum. In ner neueren MAME-Version wird ne falsche Checksum gemeldet, obwohl eine alte MAME-Version noch nicht gemeckert hat.
- Ein oder mehrere ROMs fehlen. Kommt auch häufig vor (z.B. Grafik-, Sound- oder Verschlüsselungs-ROMs). Diese werden dann in einer neuen MAME-Version natürlich dem Treiber hinzugefügt. Deshalb meckert eine neuere MAME-Version, wenn die ROMs fehlen, ne alte MAME-Version aber nicht.
- ROMs werden umbenannt. Sowas steht z.B. in einer CLRMAMEPRO.DAT drin. CLRMAMEPRO nennt die ROMs dann für dich um.

Deshalb brauchst du halt immer die neuen ROM-Sets. Im Optimalfall lädt man sich zu jeder MAME-Version die geänderten oder neuen ROMs runter, um immer auf dem aktuellen Stand zu bleiben. Dann kommen auch nicht solche Fehlermeldungen

Merkwürdig ist, dass ich die Fehlermeldung "ROM Soundso missing" bekomme,

 

[Luigi]

Die DAT-Files sind meines Wissens nach nur optionale Dateien, die zum Spielen nicht benötigt werden und in denen Informationen über die einzelnen Spiele enthalten sind. Z.B. wie das Spiel gesteuert wird (controls.dat) oder die Geschichte des Spiels (history.dat). In älteren Mame-Versionen gabs noch die Möglichkeit, die Hi-Scores in einer hiscore.dat zu speichern. Die cheats.dat enthält Infos über Schummel-Cheats in den Spielen.


Nur mal als Ergänzung

 

[Linulo]

Nein, falsch. ROM-Sets ändern sich. Und das sehr häufig.

Erstaunlich, aber das erklärt einiges.

- Ein oder mehrere ROMs sind in falscher Größe oder fehlerhaft gedumpt worden, also wird es nochmal korrekt gedumped. Resultat: Andere Checksum. In ner neueren MAME-Version wird ne falsche Checksum gemeldet, obwohl eine alte MAME-Version noch nicht gemeckert hat.

Dann ist die neue Version die richtige und die alte kaputt. Wenn ich einem alten MAME die neue Checksumme in sein DAT file schreibe, sind alle glücklich, oder?

- Ein oder mehrere ROMs fehlen. Kommt auch häufig vor (z.B. Grafik-, Sound- oder Verschlüsselungs-ROMs). Diese werden dann in einer neuen MAME-Version natürlich dem Treiber hinzugefügt. Deshalb meckert eine neuere MAME-Version, wenn die ROMs fehlen, ne alte MAME-Version aber nicht.

Verstehe ich nicht ganz. Warum meckert die alte MAME-Version dann nicht? Sie kann ohne die ROMs doch den Sound/Grafik/Verschlüsselung auch nicht emulieren.

Deshalb brauchst du halt immer die neuen ROM-Sets. Im Optimalfall lädt man sich zu jeder MAME-Version die geänderten oder neuen ROMs runter, um immer auf dem aktuellen Stand zu bleiben. Dann kommen auch nicht solche Fehlermeldungen

Der Hintergrund ist ein anderer: Ich hab alles, was ich brauche (bin bescheiden ) in einer aktuellen Version. Nur mein MAME auf der XBox will die Sets partout nicht starten, und diese MAME-Version ist von Anfang 2006! Diese Fehler verstehe ich nicht und daher würde ich der XBox gerne eine DAT basteln, mit der sie Ruhe gibt.

 

[Konrad]

Erstaunlich, aber das erklärt einiges.

Naja, nachvollziehbar, wenn man weiss warum. Von daher nicht wirklich erstaunlich .

Wenn ich einem alten MAME die neue Checksumme in sein DAT file schreibe, sind alle glücklich, oder?

Nein. MAME arbeitet nicht mit Checksum-DATs. Die Checksums der ROMs sind fest im Code von MAME integriert. Gibt für dich also keine Möglichkeit nem alten MAME neue Checksums beizubringen, es sei denn du kannst programmieren und willst dir ein eigenes MAME kompilieren .

Nur ums nochmal klarzustellen:
Altes MAME erwartet die alte Checksum/alte Namen
Neues MAME erwartet die neue Checksum/neue Namen/fehlende ROMs

Deshalb meckert
-ein altes MAME bei neuen ROM-Sets mit neuer Checksum /anderen Dateinamen
-ein neues MAME bei alten ROM-Sets mit alter Checksum/fehlenden ROMS/falschen Dateinamen.

Verstehe ich nicht ganz. Warum meckert die alte MAME-Version dann nicht? Sie kann ohne die ROMs doch den Sound/Grafik/Verschlüsselung auch nicht emulieren.

Doch. Jetzt machs doch nicht komplizierter als es ist .

Warum ist bei vielen Spielen am Anfang der Sound noch nicht ok oder die Farben noch nicht richtig ? Ganz einfach, der Programmierer des Treibers wusste nicht, dass es noch ROMs gibt, die sich um die Farben kümmern. Oder er weiss es, nur gibt es die ROMs bisher nicht in ausgelesener Form.
Oder bei manchen Spielen wird das fehlende ROM simuliert (Programmierer sind ja nicht doof, besonders nicht die MAME-Programmierer), damit mans wenigstens schonmal spielen kann, bis irgendeiner das fehlende ROM dumped, dann wird dieses natürlich in einer neuren MAME-Version integriert. Deshalb meckert dann das neue MAME, wenn das ROM fehlt, beim alten MAME gibts aber keinen Fehler.

Diese Fehler verstehe ich nicht und daher würde ich der XBox gerne eine DAT basteln, mit der sie Ruhe gibt.

Selber basteln kannste ja mal wohl vergessen. Oder hast du zu Hause Listen welchen ROM in welcher Version wie hiess und welche Checksum hatte ?

Lösungsvorschlag 1:
Ich glaube mit den CLRMAMEPro-Listen kann man auch Änderungen rückgängig machen. Also alle CLRMAMEPro-Dats seit deiner XBOX-MAME-Version bis heute runterladen und CLRMAMEPro Schritt für Schritt die Änderungen rückgängig machen lassen.

Lösungsvorschlag 2:
Alte ROMs für deine alte MAME-Version besorgen.

 

[Linulo]

Die Erleuchtung

Sehr gut, diese Antwort hat endlich alles geklärt, herzlichen Dank! :thumbs:

Nein. MAME arbeitet nicht mit Checksum-DATs. Die Checksums der ROMs sind fest im Code von MAME integriert.

Aha! Das erklärt, wie CrlMamePro diese Daten von MAME bekommen kann (einfach mit -listxml aufrufen). DAT Files sind also nichts anderes als ein Hilfsmittel, um die Verwaltung von ROMs (Version, Korrektheit, Umbenennen, Split Sets, Torrents draus machen , ...) zu vereinfachen.

Gibt für dich also keine Möglichkeit nem alten MAME neue Checksums beizubringen, es sei denn du kannst programmieren und willst dir ein eigenes MAME kompilieren .

Programmieren kann ich, aber für sowas hab ich erst wieder im Sommer Zeit .

Warum ist bei vielen Spielen am Anfang der Sound noch nicht ok oder die Farben noch nicht richtig ? Ganz einfach, der Programmierer des Treibers wusste nicht, dass es noch ROMs gibt, die sich um die Farben kümmern. Oder er weiss es, nur gibt es die ROMs bisher nicht in ausgelesener Form.

Dass sich ROMs mal ändern können, ist klar. In den meisten Fällen wird ein alter MAME mit einem neuen ROM durchaus klarkommen. Er lehnt es nicht ab, weil es als nicht funktionsfähig getestet wurde, sondern weil ein neuer Dump einfach anders (z.B. vollständig ohne Fehler) ist und sich die CRC geändert hat. Genau aus diesem Grund ist es ein blöde Idee, diese CRCs fest in MAME hineinzucompilieren, ohne eine Möglichkeit, den Check abzuschalten. Leider habe ich keinen Kommandozeilenparameter "-skipcheck" gefunden.

Selber basteln kannste ja mal wohl vergessen. Oder hast du zu Hause Listen welchen ROM in welcher Version wie hiess und welche Checksum hatte ?

Ich habe inzwischen einen ganzen Zoo von DAT Files und eine kleine selbstgemachte Datenbank mit CRCs.

Lösungsvorschlag 1:
Ich glaube mit den CLRMAMEPro-Listen kann man auch Änderungen rückgängig machen. Also alle CLRMAMEPro-Dats seit deiner XBOX-MAME-Version bis heute runterladen und CLRMAMEPro Schritt für Schritt die Änderungen rückgängig machen lassen.

Die Möglichkeit schaue ich mir mal an, danke für den Hinweis.

Lösungsvorschlag 2:
Alte ROMs für deine alte MAME-Version besorgen.

Ja, hab ich jetzt auch gemacht, waren ja nur wenige MBs bei mir. Viel wichtiger war mir, das jetzt endlich zu verstehen, damit ich in Zukunft weiß, was da vor sich geht.

Vermutlich hatte ich keine "falschen" ROMs sondern einfach Sets mit falschen split/merge-Einstellungen. Mit einem DAT-File für mein XBox-MAME hätte ich mir die Sets mit ClrMamePro leicht bauen können. Schwamm drüber.

 

[Linulo]

DAT-File FAQ

Im Gegenzug schreibe ich gerne ein Tutorial, das das endlich mal gescheit erklärt.

So, ich halte nun mein Wort. Hier die vorläufige Version des FAQs zur geschätzten Begutachtung:

-----------------------------------------------------------

Was sind DAT-Files?

DAT-Files sind Textdateien, die Informationen über ROM-Sets enthalten.


Was sind ROM-Sets?

ROM-Sets sind ZIP-Archive von ROMs, die die Daten enthalten, die für ein Spiel benötigt werden.


Was sind ROMs?

ROMs sind Dateien, die aus einem Chip auf einem Original-PCB ausgelesenen Daten enthalten.


Was sind PCBs?

PCB ist eine Abkürzung für „Printed Circuit Board“, was auf deutsch „Platine“ bedeutet. In Spielautomaten befand sich früher keine universelle Hardware (wie z.B. ein PC), sondern eine Platine, mit der genau ein Spiel umgesetzt wurde.


Was genau steht in DAT-Files?

Es gibt verschiedene Arten von DAT-Files, die unterschiedliche Daten beinhalten. Meistens versteht man unter DAT-File aber eine Datei mit Informationen zu genau der Menge von ROM-Sets, die ein bestimmter Emulator emulieren kann. So gibt es beispielsweise ein DAT-File für MAME 0.122. Darin sind die Namen der von MAME 0.122 emulierten ROM-Sets enthalten, die Größen und Checksummen aller darin enthaltenen ROMs sowie Zusatzinformationen zu den ROM-Sets. Hier ein Beispiel:

game (

name drmario
description "Vs. Dr. Mario"
year 1990
manufacturer "Nintendo"
sourcefile vsnes.c
rom ( name dm-uiprg size 65536 crc d5d7eac4 sha1 cd74c3a7a2fc7c25420037ae5f4a25307aff6587 )
rom ( name dm-u3chr size 32768 crc 91871aa5 sha1 32a4299ead7b37f49877dc9597653b07a73ddbf3 )
​

)


Was ist eine Checksumme?

Eine Checksumme ist eine Zahl, die aus einer Datei berechnet wird. Dieselbe Datei hat immer dieselbe Checksumme, verschiedene Dateien können dieselbe Checksumme haben, aber das ist extrem selten. Wenn zwei Dateien dieselbe Checksumme haben, kann man mit einiger Sicherheit davon ausgehen, dass ihr Inhalt identisch ist. Das ist praktisch, wenn man beispielsweise von einer Datei wissen will, ob sie mit einer anderen Datei übereinstimmt. Anstatt den gesamten Inhalt mit jeder in Frage kommenden Datei zu vergleichen genügt es, Checksummen zu vergleichen. So kann man beispielsweise herausfinden, ob eine Datei richtige Daten enthält, aber einen falschen Namen trägt. Daher kommt das „Check“ in dem Wort „Checksumme“.

In DAT-Files werden drei verschiedene Arten von Checksummen verwendet: CRC32, SHA1 und MD5. Für ROMs werden CRC32-Checksummen verwendet oder CRC32 und SHA1 zusammen, um die Chance für Verwechslungen weiter zu verringern. MD5-Checksummen werden nur für Festplatten-Images (CHD) verwendet. CRC32-Checksummen nennt man oft auch einfach „crc“.


Wozu sind DAT-Files gut?

DAT-Files können bei der Verwaltung von Set-Sammlungen helfen, allerdings nur in Verbindung mit entsprechender Software, wie z.B. ClrMamePro.


Was genau kann ich mit ClrMamePro machen?

ClrMamePro kann eine ganze Reihe von Aktionen ausführen, die dafür sorgen, eine möglichst vollständige Sammlung von ROM-Sets zu bekommen, die mit dem Emulator funktionieren.

Es kann (unter anderem):

• Sets genau so erzeugen wie im DAT-File vorgegeben, indem es vorhandene Sets untersucht, gegebenenfalls ROMs umbenennt und neu zusammenstellt.
• Aus unterschiedlichen Versionen desselben ROMs diejenigen herausfinden, die mit dem jeweiligen Emulator funktionieren.
• Die merge-/split-Anordnung von Sets verändern.

Was bedeutet „parent“, „clone“, „merge“ und „split“?

Diese Begriffe haben alle mit demselben Umstand zu tun: Einige Sets haben Überschneidungen von ROMs. Es wäre Platzverschwendung diese mehrfach verwendeten ROMs alle in jedem Set zu speichern, das das entsprechende ROM benötigt. Eine Lösung besteht darin, ein Set zum „parent“ und die Sets mit Überschneidungen zu „clones“ dieses parents zu erklären. Das parent enthält wie jedes normale Set alle benötigten ROMs, die clones aber haben statt der schon im parent vorhandenen ROMs nur einen Verweis auf das parent. Das spart Platz, da die Datei nicht zweimal gespeichert werden muss. Diese Einstellung nennt sich „split“ (engl. „aufteilen“) und ist die verbreitetste und empfohlene Methode.

Es gibt noch eine weitere Methode: Dabei werden alle ROMs aller Sets, die untereinander ROM-Überschneidungen haben, in ein Set gepackt. Auch hier müssen in verschiedenen Sets benötigte ROMs nicht mehrmals gespeichert werden, es ist aber schwerer, Set-Sammlungen umzubauen oder clones zu löschen, weil dazu das entsprechende Set ausgepackt werden muss. Diese Einstellung nennt sich „merge“ (engl. „vereinigen“).


Ich habe eine vollständige Sammlung von ROM-Sets für meinen Emulator. Wozu brauche ich ClrMamePro?

Höchstwahrscheinlich gar nicht.


Warum muss ich bei ClrMamePro den Speicherort von meinem MAME angeben? Was hat MAME mit DAT-Files zu tun?

MAME emuliert nicht alle Spiele, die es gibt, und von denen, die MAME emuliert, emuliert MAME nicht alle Versionen. Eine Liste mit den Spielen und Spielversionen, die eine bestimmte MAME-Version emulieren kann, ist fest einprogrammiert. Würde MAME einfach unbekannte ROMs ausführen, würde MAME höchstwahrscheinlich sofort abstürzen, deshalb muss eine solche Überprüfung eingebaut sein.

MAME kann dazu gebracht werden, diese Informationen auszugeben, und zwar in einer Form, die ClrMamePro verwenden kann (Für Experten: Kommandozeilenparameter „-listxml“). ClrMamePro kann also auch ohne DAT-File von der jeweiligen MAME-Version erfahren, welche ROMs unterstützt werden.

 

[Linulo]

Da's ja niemand sticken wollte , geb ich dem mal einen Bump. Find's als Anfänger-Info gar nicht übel.

Inzwischen gibt's übigens ein tolles, animiertes Schritt-für-Schritt-Tutorial zu ClrMamePro.

 

[picrard]

Ist schon älter der Thread, hat mir aber nun auch endlich geholfen.

Ist zwar alles sehr umständlich, aber was solls.
Früher hatte ich nicht soviele Probleme mit den zip-Files wie heute,
da passt der eine, und der andere dann wieder nicht. :'-(

Also jedesmal mit >clrmamepro< bearbeiten, was noch lange nicht heißt das es klappt,
weil sich ja die Anzahl der unterstützten Roms je Mame-Version immer wieder hoch
und runter schrauben ???
Habe mal irgendwo im Netz ne Liste gefunden, finde ich aber jetzt nicht...

Nunja ein toller Thread, Danke Linulo !

 

[Linulo]

Ist zwar alles sehr umständlich, aber was solls.
Früher hatte ich nicht soviele Probleme mit den zip-Files wie heute,
da passt der eine, und der andere dann wieder nicht. :'-(

Das Hantieren mit ClrMamePro hat einen großen Vorteil: Die ROMs passen immer (ob es überhaupt lauffähige ROMs von einem bestimmten Spiel gibt, steht nochmal auf einem anderen Blatt, MAME ist teilweise auch inkompatibel geworden zu Spielen, die früher einwandfrei liefen) und es wird ein Minimum an Bandbreite gebraucht, weil man alle irgendwie nutzbaren vorhandenen Daten nutzt.

Nunja ein toller Thread, Danke Linulo !

Vielen Dank , positives Feedback ist immer toll, auch wenn es erst nach 4 Jahren kommt .