Du bist nicht angemeldet.

Stilllegung des Forums
Das Forum wurde am 05.06.2023 nach über 20 Jahren stillgelegt (weitere Informationen und ein kleiner Rückblick).
Registrierungen, Anmeldungen und Postings sind nicht mehr möglich. Öffentliche Inhalte sind weiterhin zugänglich.
Das Team von spieleprogrammierer.de bedankt sich bei der Community für die vielen schönen Jahre.
Wenn du eine deutschsprachige Spieleentwickler-Community suchst, schau doch mal im Discord und auf ZFX vorbei!

Reinforcement Learning TD Tic Tac Toe 3D

Werbeanzeige

MCP

Alter Hase

Beiträge: 513

Wohnort: Paderborn

Beruf: Software-Entwickler

  • Private Nachricht senden

31

13.05.2009, 20:20

Jetzt klingt es eher nach einem Lernfähigen Programm ;)
Wie hast du den Agenten denn eingestellt? Ist er eher explorativ oder passiv?
Wenn er eher passiv ist (also wie beschrieben auf den einen Zug immer gleich reagiert) dann macht es eigentlich wenig Sinn den Agenten oft spielen zu lassen.
Wir hatten bei uns an der FH einen Agenten der den besten Weg durch eine Umgebung finden sollte, er war auch nicht sehr explorativ. Nun, es gab ein Feld mit einem sehr negativen Reeinforcement. Der Agent hatte die Eigenschaft das jede Aktion nur eine gewisse Chance auf Erfolg hat. So hat der Agent, als er auf das "böse" Feld kam gelernt das es bei dem Feld vorher ist besser ist an die Wand zu fahren. Hatte er einmal einen Weg durch das Gelände gefunden blieb er dabei, auch wenn es einen kürzeren Weg gab... ^^

rewb0rn

Supermoderator

  • »rewb0rn« ist der Autor dieses Themas

Beiträge: 2 773

Wohnort: Berlin

Beruf: Indie Game Dev

  • Private Nachricht senden

32

13.05.2009, 20:24

Sooooo,

ich habe mich nochmal drangesetzt. Die KI trainiert jetzt im tausender Takt abwechselnd gegen sich selbst und gegen einen Zufallsgegner.
Ich habe die aktuelle Version 50 Millionen mal spielen lassen. Anschließend habe ich einen Testlauf (ohne Lernfortschritt) ebenfalls im tausender Takt abwechselnd durchlaufen lassen. In 50 Millionen Spielen hat die KI nun kein einziges Mal verloren.

Sollte jetzt noch immer jemand von euch gewinnen behaupte ich ihr lügt 8)

Im Ernst: Sollte tatsächlich jemand gewinnen, bitte die Taktik einmal kurz hier posten.

Wenn das jetzt erstmal läuft schau ich mal, ob ich es noch so anpasse, dass zufällige, viel versprechende Züge gemacht werden anstatt immer nur der beste.. Dann müsste ich allerdings auch den Testlauf nochmal wiederholen, mal sehen...

rewb0rn

Supermoderator

  • »rewb0rn« ist der Autor dieses Themas

Beiträge: 2 773

Wohnort: Berlin

Beruf: Indie Game Dev

  • Private Nachricht senden

33

13.05.2009, 20:26

Zitat von »"MCP"«

Jetzt klingt es eher nach einem Lernfähigen Programm ;)
Wie hast du den Agenten denn eingestellt? Ist er eher explorativ oder passiv?
Wenn er eher passiv ist (also wie beschrieben auf den einen Zug immer gleich reagiert) dann macht es eigentlich wenig Sinn den Agenten oft spielen zu lassen.
Wir hatten bei uns an der FH einen Agenten der den besten Weg durch eine Umgebung finden sollte, er war auch nicht sehr explorativ. Nun, es gab ein Feld mit einem sehr negativen Reeinforcement. Der Agent hatte die Eigenschaft das jede Aktion nur eine gewisse Chance auf Erfolg hat. So hat der Agent, als er auf das "böse" Feld kam gelernt das es bei dem Feld vorher ist besser ist an die Wand zu fahren. Hatte er einmal einen Weg durch das Gelände gefunden blieb er dabei, auch wenn es einen kürzeren Weg gab... ^^


Die KI exploriert derzeit mit einem Epsilon von 1000 / (1000 + [Spielrunde]). Außerdem werden alle Zustände mit +1 initialisiert, es werden also unbekannte Zustände erstmal ausprobiert, da sie den Maximalwert versprechen, bis sie runtergeregelt wurden.

MCP

Alter Hase

Beiträge: 513

Wohnort: Paderborn

Beruf: Software-Entwickler

  • Private Nachricht senden

34

13.05.2009, 21:21

Ah, das klingt sehr fein. :)
Dann sollte die KI das perfekte Spiel spielen können. :)

babelfish

Alter Hase

Beiträge: 1 222

Wohnort: Schweiz

Beruf: Informatiker

  • Private Nachricht senden

35

13.05.2009, 21:53

Bisher gab es bei mir nicht mehr als unentschieden..

Da die KI explorativ aufgebaut ist, sollte es doch möglich sein das ganze auf 5x5 (4 zum Sieg) oder weiter umzubauen?
Ich wundere mich nämlich ob sie das auch schon in 50 Millionen Spielen kapiert :)

rewb0rn

Supermoderator

  • »rewb0rn« ist der Autor dieses Themas

Beiträge: 2 773

Wohnort: Berlin

Beruf: Indie Game Dev

  • Private Nachricht senden

36

14.05.2009, 00:42

Also ich hab jetzt nochmal etwas rumexperimentiert und es aufgegeben, die KI zufällig gut bewertete Zustände spielen zu lassen, das Verhalten ist dann nicht mehr optimal.

Zitat von »"babelfish"«


Bisher gab es bei mir nicht mehr als unentschieden..

Da die KI explorativ aufgebaut ist, sollte es doch möglich sein das ganze auf 5x5 (4 zum Sieg) oder weiter umzubauen?
Ich wundere mich nämlich ob sie das auch schon in 50 Millionen Spielen kapiert :)


Prinzipiell kann man RL auf alle möglichen Probleme anwenden. In meiner Diplomarbeit soll ein Roboter lernen in einer Wohnung zu navigieren, ohne mit den Bewohnern in die Quere zu kommen.

Ob dein Beispiel auch in 50 Millionen Spielen lernbar ist muss man ausprobieren, aber ich denke das kommt etwa hin.

S.E.N

Treue Seele

Beiträge: 164

  • Private Nachricht senden

37

14.05.2009, 10:54

Also die KI ist wirklich beeindruckend, ich meine ein Programm zu schreiben was sich die Züge merkt und daraus etwas berechnet und am ende kaum noch zu schlagen ist. So eine KI finde ich klasse.

In dem neuen Sims Spiel wird es auch eine KI geben, die soll auch schon sehr hoch sein. Da sie eine ganze Nachbarschaft Spielt. Wirklich toll was man alles erreichen kann. Ich stelle mir so eine Tic Tac To Ki schon schwer vor. Eine KI in einem Game also wie WOW ist schon wieder was anderes.
In den neuen spielen entwinkeln sich die KI's ja rasend, so soll es doch nun in Japan ein spiel geben wo die Figur mit der man spielt vollkommen die Eigenschaften des Spielers Kopiert sich anpasst und so eine enge Partnerschaft mir dem Spieler eingeht. So das sie von ganz alleine beginnt bestimmte Dinge zu machen und dem Spieler so das spiel extrem vereinfacht.

Ich finde KI generell super leider kenne ich mit der Materie nicht aus.
Account wurde gelöscht

DasBlub

Alter Hase

Beiträge: 802

Wohnort: Schweiz

Beruf: Programmierer

  • Private Nachricht senden

38

14.05.2009, 10:57

Zitat von »"S.E.N"«

Eine KI in einem Game also wie WOW ist schon wieder was anderes.

die KIs in wow sind statisch implementiert, d.h. sie sind nicht lernfähig und blizzard muss den code manuell anpassen wenn sie etwas an der funktionalität ändern wollen ;)

MCP

Alter Hase

Beiträge: 513

Wohnort: Paderborn

Beruf: Software-Entwickler

  • Private Nachricht senden

39

14.05.2009, 12:10

RL ist in der Tat eine tolle Sache. Bei dem Seminar Künstliche Intelligenz an der FH hatte ich auch viel Freude und habe sehr viel gelernt. Seitdem habe ich schon lange die Idee RL oder ähnliches in ein Spiel einzubauen. Bzw das mit einem Verhaltensnetzwerk zu verbinden das eine Spiel KI steuert... Nur wird sowas schwer zu Balancen zu sein, damit die KI nach ein paar Spielen nicht nur noch gewinnt ;) Deswegen haben das Spieledesigner bisher wohl vermieden.
Implementieren lassen sich die meisten Algorithmen recht einfach, aber sie lernen oft einfach zu gut ;)
@S.E.N: Die KI bei Sims 3 dürfte aber auch statisch sein. Ist also vom KI Aspekt gesehen nicht wirklich beeindruckend (Spieltechnisch ist sowas trotzdem toll). Welches Spiel war das Japanische Spiel das zu erwähnt hast?

rewb0rn

Supermoderator

  • »rewb0rn« ist der Autor dieses Themas

Beiträge: 2 773

Wohnort: Berlin

Beruf: Indie Game Dev

  • Private Nachricht senden

40

14.05.2009, 12:27

Zitat von »"MCP"«

Nur wird sowas schwer zu Balancen zu sein, damit die KI nach ein paar Spielen nicht nur noch gewinnt ;) Deswegen haben das Spieledesigner bisher wohl vermieden.
Implementieren lassen sich die meisten Algorithmen recht einfach, aber sie lernen oft einfach zu gut ;)


Wäre schön wenn das so wäre.. Eine gute KI schlechter zu machen damit es noch spielbar bleibt ist ganz leicht. Aber leider lernen diese Algorithmen eben nicht einfach so. Hat der Zustandsraum eine gewisse Größe erreicht, kann man nicht einfach eine beliebige Zustandsrepräsentation verwenden. Eine effektive zu entwickeln kostet viel Zeit und Mühe, wenns überhaupt klappt. Und weil KI das ist, was man auf den ersten Blick am wenigsten wahr nimmt, ist das auch der Bereich, wo bei Spielen oft gespart wird. Deswegen sind die KIs bei Computerspielen, mit einigen Ausnahmen, meistens so dumm.

Werbeanzeige