Ich habe die von dot genannten Bücher und kann beide empfehlen.
Mathematics for 3D Game Programming and Computer Graphics ist ein knallhartes Mathebuch. Das Buch setzt voraus, dass man mathematische Formeln bereits gut beherrscht. Tut man das nicht, sieht man schnell so aus wie der Geselle auf dem Cover des Buchs: ganz, ganz alt.
Der
3D Math Primer for Graphics and Game Development ist in einem deutlich unterhaltsameren Ton geschrieben. Tatsächlich hätte ich nicht gedacht, dass mich ein Mathebuch mal zum Lachen bringen würde.
Während der Fokus des ersten Buchs deutlich auf Definitionen, Formeln und Beweisen liegt, arbeitet das zweite Buch gerne mit Erklärungen, Beispielen und Illustrationen (und einigen witzigen Fußnoten).
Mir persönlich gefällt der Math Primer besser, weil ich ihn insgesamt zugänglicher finde, aber das muss jeder für sich selbst entscheiden. Einfach mal einen Blick auf die Beispielkapitel beider Bücher werfen.