Die 8k-Grenze ist kein Problem. Ich spreche von ASCII-Zeichen, also pro Zeichen ein Byte plus abschließendes Null-Byte, macht 5581 Bytes. Grob geschätzt die Hälfte davon sind ohnehin Füllzeichen, um die interessanten Abschnitte auszurichten. Ohne die 8k-Grenze könnte ich im Übrigen noch sechs Token einsparen.
Was der Tokencounter genau zählt kann ich nur raten. Ich vermute mal, die Ausgabe sollen die einzelnen Token sein. Dann zählt er z.B. die umschließenden Anführungszeichen um eine String-Konstante separat, ebenso in der Konstante auftauchende Escape-Sequenzen wie \0 oder \xXX.
Manchmal bekomme ich auch mehrere Zeilen, so wie sie im Quelltext stehen, unverändert ausgegeben. Dann wiederum beginnt er mitten in einer auskommentierten Quelltextzeile zu zählen:
|
Quellcode
|
1
2
3
4
5
6
7
|
//sprintf(p_text_out, "
%
i
,
n
)
;
|
(Hatte testweise das Parse-Ergebnis als Antwort zurückgegeben. Ja, ich weiß, dass die Standartbibliothek nicht erlaubt ist !)