Werden neuronale Netze eigentlich schon für die KI bei z.B. Echtzeitstrategiespielen verwendet?

[Gruum]

Irgendwo hab ich mal gelesen, dass bei der ki von echtzeitstrategiespielen neuronale Netze auch eine Rolle spielen. Ich weiß aber nicht mehr wo ich das gelesen habe, es war kein Quelle der ich 100% vertraut habe.

[xcvvcx]

Ich habe mal von einer KI für "Die Siedler von Catan" gelesen, die Reinforcement Learning benutzt.

[nachtfeuer]

Ich hatte mal ein Interview mit dem Ki-Programmierer der hochgelobten Ki von F.E.A.R. gelesen - der meinte, er hatte die Ki auch nur mit If/Then programmiert.

Ich denke aber, es gibt durchaus Anwendungsbereiche für neuronale Netze in Echtzeitstrategiespielen. Man könnte z.B. Begleitcharaktere auf bestimmte Eigenschaften trainieren lassen.
Bei einen Snes Rpg Spiel musste man gegen Kopien von sich und der Mitspielerparty spielen - die Szene war etwas unheimlich, gut dass die Kopie-Figuren nur einfach gescriptet waren...

Letztlich könnten sich hier und da neue Spielwelten oder Spielideen (basierend auf Nachmacherei, z.B. Töne, Rufe, Sprache, Spielaufbau, Schwierigkeitssteuerung usw.) auftun.

Das beste Echtzeit Strategiespiel ist und bleibt natürlich Z - wer hätte was dagegen, wenn die Einzelkämpfer auch noch eigene Witze machen können

(oder z.B. die Begleitjägerin, die man bei Diablo2 in Akt1 bekommt, könnte Charakterbuildsensibler* mitspielen. Generell ist sie natürlich zu langsam und schlecht geskriptet, aber wenn solche Figuren noch mehr Möglichkeiten bzw. Fertigkeiten zur Auswahl hätten, dann wär ein neuronales Netz vielleicht etwas sinnvoller als If/Then/Script.)
(und gerade die Jägerinnen könnten sich ihre (besseren) Waffen selber suchen (als Bot...) denn die besseren Waffen finden sich nicht immer so leicht wie für die anderen Begleiter).

*das gilt erst recht für den Schattenmeister, auch wenn der alleine PVP spielen könnte und dabei auch noch oft gewinnt. Für die Fallenassas klaut der zuviele Fallen und für das Teleportverhalten gibt es einen sehr guten Charbuild, den könnte die Schattenmeisterin taktisch gesehen ganz ähnlich spielen.
(bei Duriel z.B. oder Zombichamps ist Kobra angesagt und Venom (ist sowieso langsam)

[pointercrash**]

In Bezug auf die Eingangsfrage lautet die Antwort: "Mit Sicherheit wurde das schon probiert".

Das Problem ist, daß sich neuronale Netze heillos verrennen können und dann wirrköpfige oder omnipotente Gegener abliefern.
Um die Spielbalance zu erhalten, wird halt viel gescriptet, wie es SeppJ nennt.

Die Spielbalance bei Schach ist für mich dahin, seit in den berechneten Zugfolgen während der Bedenkzeit der Maschine interessantere Varianten auftauchen, als sie mir eingefallen wären. Schon das ist demoralisierend, nicht auszumalen, wenn die Maschine mit mehreren tausend Zügen gleichzeitig agieren könnte.

Die Frage sollte also eher lauten: Verschaffen einem auf neuronale Netze basierende Gegner mehr Spielspaß

[SeppJ]

nachtfeuer schrieb:

(oder z.B. die Begleitjägerin, die man bei Diablo2 in Akt1 bekommt, könnte Charakterbuildsensibler* mitspielen. Generell ist sie natürlich zu langsam und schlecht geskriptet, aber wenn solche Figuren noch mehr Möglichkeiten bzw. Fertigkeiten zur Auswahl hätten, dann wär ein neuronales Netz vielleicht etwas sinnvoller als If/Then/Script.)
(und gerade die Jägerinnen könnten sich ihre (besseren) Waffen selber suchen (als Bot...) denn die besseren Waffen finden sich nicht immer so leicht wie für die anderen Begleiter).

*das gilt erst recht für den Schattenmeister, auch wenn der alleine PVP spielen könnte und dabei auch noch oft gewinnt. Für die Fallenassas klaut der zuviele Fallen und für das Teleportverhalten gibt es einen sehr guten Charbuild, den könnte die Schattenmeisterin taktisch gesehen ganz ähnlich spielen.
(bei Duriel z.B. oder Zombichamps ist Kobra angesagt und Venom (ist sowieso langsam)

Das klingt nach einen Paradebeispiel für if-then und nach einem Anti-Beispiel für neuronale Netze.

"Neuronales Netz" ist kein Zauberwort für "damit hat das Programm menschliche Intelligenz".

[nachtfeuer]

SeppJ schrieb:

Das klingt nach einen Paradebeispiel für if-then und nach einem Anti-Beispiel für neuronale Netze.

Generell hast du doch bei Scripten "eher defensiv" oder "eher offensiv" aber abgewogenes Verhalten ist oft eher nicht dabei.
Es wäre z.B. für die Jägerin nicht immer einfach die optimale Schussposition zu finden. (obwohl "Bewegen und Schießen" auch gut zu scripten wäre)
Und es ist für Programmierer/Management (offensichtlich) nicht immer einfach, alle möglichen If/Thens zusammenzuschreiben (1. aus vielleicht Komplexitätsgründen und 2. sonst wäre die Jägerin ja auch nicht so einfach gestrickt)
(Ein bißchen passt die Einfachheit aber zu dem, was du oben zur Spielbalance geschrieben hattest. Darum überstehen die Sölder vermutlich auch die Überbosse nicht, werden i.d.R. sofort gekillt - nicht dass noch einer Kaffe trinken geht, beim Kampf gegen Diablo)

[happystudent]

nachtfeuer schrieb:

Ich hatte mal ein Interview mit dem Ki-Programmierer der hochgelobten Ki von F.E.A.R. gelesen - der meinte, er hatte die Ki auch nur mit If/Then programmiert.

Die KI in FEAR war echt sehr gut.

Eigentlich bezeichnend dass das Spiel schon über 10 Jahre alt ist und eigentlich immer noch mehr oder weniger der Maßstab für gute KI in diesem Genre ist. Leider gibts in diesem Bereich nicht solche Sprünge wie in Grafik/Sound/Physik etc...

pointercrash() schrieb:

Die Spielbalance bei Schach ist für mich dahin, seit in den berechneten Zugfolgen während der Bedenkzeit der Maschine interessantere Varianten auftauchen, als sie mir eingefallen wären. Schon das ist demoralisierend, nicht auszumalen, wenn die Maschine mit mehreren tausend Zügen gleichzeitig agieren könnte.

Die Frage sollte also eher lauten: Verschaffen einem auf neuronale Netze basierende Gegner mehr Spielspaß

Eine zu gute KI ist natürlich auch nicht gut für den Spielspass, aber das "Problem" hat man ja auch mit klassischen Ansätzen. Beim Schach ist es ja auch ein normaler Baumsucher der jeden Spielspass im Keim ersticken lässt, wenn nur die Suchtiefe groß genug ist.

Was auf jeden Fall wünschenswert wäre (und mMn den Spielspass deutlich steigern würde), wäre eine KI die sich an den Spieler anpasst und zu einem gewissen Grad lernfähig ist. Also eine KI die erkennt wenn der Spieler eine bestimmte Technik/Situation ausnutzt und entsprechende Vorkehrungen trifft.

Ob man dafür jetzt NN braucht sei mal dahingestellt, aber das ist halt das erste was einem einfällt wenn man die Begriffe "KI" und "lernfähig" hört.

[Meister Zocker]

Für mich klingen Spielstrategie-Spiele wie C&C oder "Z" (was ich geliebt habe) eher nach Evolutionären Algorithmen.

Lasse den Computer z.B. 100 zufällige Zusammensetzungen von Truppen erzeugen. Lass ihn eine Basis bauen und diese Truppenzusammensetzung losschicken. Ein Gegenspieler Computer macht das selbe.

Wenn einer der Computer gewinnt ist seine Truppenzusammensetzung besser. Lösche die Truppenzusammensetzung des Verlierers. Behalte die Zusammensetzung des Gewinner.Ändere die Gewinner Zusammensetzungen zufällig etwas mit einer gewissen Wahrscheinlichkeit. Lass die Wahrscheinlichkeit der Zufälligen Änderung mit der Zeit abnehmen.

Nach einigen Zehntausenden Spielen hat man die besten Truppenzusammensetzungen.

Mach das selbe mit der Reihenfolge (und Anzahl) der zu bauenden Gebäude.

Ich wette so ein Computer wäre auch ohne schummeln eine Herausforderung.

[SeppJ]

Um zu wissen, welche Truppenzusammenstellungen gut sind, brauchst du keine lernenden Algorithmen.

[Meister Zocker]

SeppJ schrieb:

Um zu wissen, welche Truppenzusammenstellungen gut sind, brauchst du keine lernenden Algorithmen.

Doch!

Total Annihilation:
Laufende Minibombe... zu langsam nahezu nutzlos.
Transportflugzeug... niemand nutzt es.

Transportflugzeug hebt Minibombe auf und fliegt in feindliche Stellung => BOOOOM

Kein Entwickler ist drauf gekommen. Keine Computer KI wendet es an. Ein lernender Algorithmus hätte diese Kombination finden können. Die menschlichen Spieler haben es jedenfalls nach längerer Zeit entdeckt.

[Neuronales Netz]

SeppJ schrieb:

So großartig anders wäre es bei anderen Spieletypen aber auch nicht: FPS und Rennspielen wäre ein Bot unbesiegbar, da es dort praktisch nur auf Reaktion und Präzision ankommt.

Ich weiß nicht, warum zuhören und verstehen so unmöglich für dich ist, aber du hast hier bis jetzt noch nicht begriffen, was eine gute KI ausmacht, obwohl ich dir das jetzt schon mehrmals gesagt habe.

Und das, was ich sagte, gilt auch für die KI eines FPS und Rennspieles.

Noch einmal extra für dich als Merksatz den du dir übers Bett hängen kannst:
Fehlerfreiheit und Geschwindigkeit sind bei Computerspielen NICHT die Merkmale, die eine gute KI ausmachen, begreife das endlich und wiederhole dich nicht ständig mit diesem Fehlerwissen.

[Meister Zocker]

Neuronales Netz schrieb:

SeppJ schrieb:

So großartig anders wäre es bei anderen Spieletypen aber auch nicht: FPS und Rennspielen wäre ein Bot unbesiegbar, da es dort praktisch nur auf Reaktion und Präzision ankommt.

Ich weiß nicht, warum zuhören und verstehen so unmöglich für dich ist, aber du hast hier bis jetzt noch nicht begriffen, was eine gute KI ausmacht, obwohl ich dir das jetzt schon mehrmals gesagt habe.

Und das, was ich sagte, gilt auch für die KI eines FPS und Rennspieles.

Noch einmal extra für dich als Merksatz den du dir übers Bett hängen kannst:
Fehlerfreiheit und Geschwindigkeit sind bei Computerspielen NICHT die Merkmale, die eine gute KI ausmachen, begreife das endlich und wiederhole dich nicht ständig mit diesem Fehlerwissen.

Ich versuch es mal:

Für mich wäre eine KI gut wenn sie:
1. Wirkt wie ein menschlicher Spieler
2. In der Stärke anpassbar wäre
3. Eine Stärke bietet die auch für erfahrene Spieler eine Herausforderung darstellt.
4. Nicht immer wiederholend auf eine bestimme Strategie reinfallt

Zur Bewertung:
1. Ist sehr abstrakt gehalten, könnte aber durch eine Vielzahl von Skripten und Zufälligen Handlungen erreicht werden
2. Kann durch "Cheaten" erreicht werden. (Mehr Geld bei Strategiespielen etc.)
3. Kann durch stärkeres Cheaten erreicht werden
4. Genau dieser Punkt ist der Kritische. Hier hilft kein Cheaten, keine Skripte usw. Der Mensch ist Kreativ. Wenn es DIE Beste Strategie gegen die KI gibt, die immer zum Erfolgt führt wird der Mensch sie finden. Die Programmierer können nicht jede mögliche Strategie der Spieler vorhersehen. Es gibt hierfür nur zwei Lösungen:
1. Lernende KIs
2. Permanente Weiterentwicklung der Skript-gesteuerten KI durch die Spiele Entwicklung durch Beobachtung der Spiele und manuelle Anpassung an die Spieler-Strategien. Dieser Punkt verursacht permanente Kosten, da wäre es sinnvoller Lösung 1 zum Erfolg zu führen. Dafür scheint aber das Wissen über KIs nicht auszureichen oder die Investitionen zu gering zu sein.
(z.B. wird an Universitäten NIEMALS an KIs für echte Spiele geforscht. Selbst wenn mal Pseudo-Themen angeboten werden die so klingen, steckt was anderes da hinter. Irgendwie wird Forschung hieran, wie das Arbeiten an einem Schmuddelgewerbe, vermieden)

[SeppJ]

Neuronales Netz schrieb:

[...]

Vielleicht einfach mal mitlesen, anstatt Zitate vollkommen aus dem Zusammenhang zu reißen. Aber dann könntest du dich ja nicht profilieren...

[Neuronales Netz]

SeppJ schrieb:

Neuronales Netz schrieb:

[...]

Vielleicht einfach mal mitlesen, anstatt Zitate vollkommen aus dem Zusammenhang zu reißen. Aber dann könntest du dich ja nicht profilieren...

Ich habe das Zitat nicht aus dem Zusammenhang gerissen, sondern beim Zitieren nur auf das wesentliche gekürzt.

Für dich bedeutet eine gute KI im Sinne, dass ise unschlagbar ist, immer noch eine unmenschlich schnell reagierende KI, die alles quasi nahezu gleichzeitig steuert.

[SeppJ]

Neuronales Netz schrieb:

SeppJ schrieb:

Neuronales Netz schrieb:

[...]

Vielleicht einfach mal mitlesen, anstatt Zitate vollkommen aus dem Zusammenhang zu reißen. Aber dann könntest du dich ja nicht profilieren...

Ich habe das Zitat nicht aus dem Zusammenhang gerissen, sondern beim Zitieren nur auf das wesentliche gekürzt.

Für dich bedeutet eine gute KI im Sinne, dass ise unschlagbar ist, immer noch eine unmenschlich schnell reagierende KI, die alles quasi nahezu gleichzeitig steuert.

So, so. Dass es an der Stelle der Diskussion nicht um Qualität ging, sondern darum, bei welchen Arten von Spielen KIs überhaupt in der Lage sind, gute Spieler zu schlagen und warum, ist dir wohl zufällig entgangen. Aber Hauptsache mal rumgebasht

[Bengo]

Wir haben hier ja einige Kriterien für eine gute KI und ich bin sehr skeptisch, dass ein neurales Netz diese erfüllen kann.
Wichigstes Kriterium war aggieren wie ein echter Mensch. Das tun neurale Netze in der Regel nicht (wie auch, die Dinger haben nur einen winzigen Bruchteil der Neuronen). Neutrale Netze sind eigentlich nichts weiter als eine Menge von Gleichungen, die magischer Weise in bestimmten Fällen das tun was sie sollen, oder was sie gelernt haben.
Man könnte das Netz natürlich so abrichten, dass es echte Spieler möglichst gut kopiert, aber das ist wahrscheinlich sehr aufwendig, bis was Brauchbares rauskommt.
Wenn ein echter Mensch aber was scriptet, kann da schon viel eher was menschliches rauskommen.

Abgesehen davon, brauch man in Zeiten von Internet und Multiplayer eigentlich noch eine KI, die wie ein Mensch spielt? Wir haben doch genug echte Menschen, und die können das schon perfekt!

[Gelegenheits Zocker]

Bengo schrieb:

... Wir haben doch genug echte Menschen, und die können das schon perfekt!

Ja Cheaten!

Nahezu alle Spiele sind im Multiplayer tot gecheatet, oder von "Pros" die da 12+ Stunden am Tag zocken so besetzt, dass Gelegenheitsspieler überhaupt keine Chance haben.

Z.B. Spiele ich gerne Spiele wie Diablo oder Path of Exile: Bots ohne Ende, Chicken Programme im HC, und bei Start (PoE) speilen einige (wohl wirklich echte Menschen) in 3 Wochen mit 18 Stunden am Tag auf Level 100. Was machen Spieler die nen richtigen 8 Stunden Arbeitstag haben? Wenn ich nach den 8 Stunden Arbeit anfange zu spielen sind die ersten Schon auf Level 85+.

Anderes Beispiel: Ich habe Arma3 gekauft (Steam). Singleplayer Kampagne gespielt War OK, Bots sind nicht die cleversten aber es geht. Dann in den Multiplayer. Nach 5 Minuten konnte man die Cheater erkennen. Das ist einfach nur Schei... .

Ausweg: Spiele mit richtiger KI, die weder unfair cheatet noch die Fähigkeit übertriebener Pro Spieler hat. Oder am besten einstellbar ist.

[Auch für bessere KI]

Gelegenheits Zocker schrieb:

Nahezu alle Spiele sind im Multiplayer tot gecheatet, oder von "Pros" die da 12+ Stunden am Tag zocken so besetzt, dass Gelegenheitsspieler überhaupt keine Chance haben.
...
Anderes Beispiel: Ich habe Arma3 gekauft (Steam). Singleplayer Kampagne gespielt War OK, Bots sind nicht die cleversten aber es geht. Dann in den Multiplayer. Nach 5 Minuten konnte man die Cheater erkennen. Das ist einfach nur Schei... .

Das sind in der Regel eher keine Cheater, sondern wie du eingangs richtig erkannt hast "Pros", die das Spiel die ganze Zeit spielen.

Früher, als ich noch über die Sommerferien spielen konnte, war ich in Battlefield 1942 auch Pro und stand immer auf einen der ersten 3 Plätze nach dem Match.
Heute gewinne ich in Battlefield 3 keinen Boden mehr und BF4 habe ich mir erst gar nicht gekauft.

Grund:
Man wird älter, die Reflexe lassen nach und viel schlimmer, man hat ja eigentlich gar keine Zeit mehr so viel zu spielen.
Insofern geht es mir da wie dir.

Aber echte Cheater sind doch eher selten. In BF1942 wurde ich z.B. häufig für einen Cheater gehalten, obwohl ich nicht gecheatet habe, ich war einfach gut trainiert und die anderen waren Gelegenheitsspieler so wie du, das war alles.

Ausweg: Spiele mit richtiger KI, die weder unfair cheatet noch die Fähigkeit übertriebener Pro Spieler hat. Oder am besten einstellbar ist.

Ganz deiner Meinung.
Bei der KI müsste noch so viel getan werden. Es ist echt schade, dass das ganze Geld in die Entwicklung einer besseren Grafik fließt, nur weil man die auf den ersten Blick einfacher bewerten kann und Spieletestzeitschriften leider auf die KI keinen Wert legen.