spieleprogrammierer.de - Forum und Wiki zur Spieleprogrammierung und Spieleentwicklung

https://en.m.wikipedia.org/wiki/Lexical_analysis#Token

Token, die ich bei dir sehe: Identifier, Doppelpunkt, String-Literal, Integer-Literal, Zeilenumbruch, Tab. Die letzten beiden sind deshalb Token, weil sie scheinbar eine Bedeutung haben (Zeilenumbruch als Abschluss der Wertzuweisung, Tab für Verschachtelung).

Zitat von »David Scherfgen«

Token, die ich bei dir sehe: Identifier, Doppelpunkt, String-Literal, Integer-Literal, Zeilenumbruch, Tab. Die letzten beiden sind deshalb Token, weil sie scheinbar eine Bedeutung haben (Zeilenumbruch als Abschluss der Wertzuweisung, Tab für Verschachtelung).

Ich vermute dass soll eine Grammatik sein und die Sprache setzt sich aus den Literalen 1234 und "abcde" zusammen, wobei die Grammatik dann nicht eindeutig wäre da 1234 zwei verschiedene Ableitungen besitzt.

Nee, das ist sicher keine Grammatik, sondern ein Beispiel für ein gültiges „Wort“ der Sprache.

Zitat von »David Scherfgen«

Nee, das ist sicher keine Grammatik, sondern ein Beispiel für ein gültiges „Wort“ der Sprache.

Stimmt. Er schreibt es sogar. Dann hast du natürlich recht.

Bei den meisten Sprachen werden Token übrigens durch Leerzeichen getrennt. Man könnte bei diesen Sprachen sagen: Ein Token ist alles, wo du kein Leerzeichen mittendrin einfügen kannst, ohne das Programm zu verändern oder kaputt zu machen. In C/C++ sind beispielsweise sämtliche Keywords Token. return ist z. B. ein Token, denn wenn ich ret urn daraus mache, ändere ich das Programm. Ein Integer-Literal ist auch ein Token, denn 123456 und 12 34 56 sind für den Compiler nicht das gleiche.

Kommt darauf an, was diese Funktionen machen!
Es heißt übrigens Identifier, nicht Indentifier. Das hat nichts mit Einrücken zu tun.

Da Whitespaces allgemein in deiner Grammatik keine Rolle zu spielen scheinen musst du eigentlich nur am Anfang alle Whitespaces verwerfen bis du auf ein anderes Zeichen triffst. Dann ließt du die Zeichen des aktuellen Tokens ein und bestimmt die Art des Token. Das ganze verpackst du dann in ein Objekt und gibst es zurück. Jetzt gibt es verschiedene Möglichkeiten. Dein Tokenizer (oft auch Scanner oder Lexer genannt) kann jetzt jeweils ein einzelnes Token zurück geben und sich die aktuelle Position im Quelltext merken, oder aber du ließt den gesamten Quelltext ein und gibst direkt eine Liste von deinen Tokens wieder. Der erste Ansatz hat ein paar Vorteile. Das ganze wird dann normalerweise von deinem Parser benutzt welcher die Tokens weiter verarbeitet. Für den Anfang ist es vielleicht ganz hilfreich wenn du dir mal ein flex & bison Tutorial ansiehst. Da werden Lexer und Parser zwar generiert, dir sollte aber klar werden wie du mit beiden Bausteinen zusammen arbeitest. Ansonsten solltest du mit den Stichworten Lexer und Scanner aber auch genug Material bei Google finden um zu sehen wie man so ein Teil von Hand baut.
Ich habe mal einen recht generischen Lexer geschrieben. Der hat einfach pro Token einen regulären Ausdruck und den zugehörigen Tokentyp bekommen und hat dann jeweils darauf geprüft und das passende Token zurück geliefert. Das ist zwar nicht besonders effizient, das war in dem Fall aber mehr als ausreichend.