Meiner Meinung nach spielt die Mathematik in den Anfangskapiteln doch mehr eine nebensächliche Rolle. Mit Formeln zugeschüttet wird man da jedenfalls nicht. Eher das Gegenteil ist der Fall... es wird ein bisschen zu wenig zum Hintergrund erklärt.
Ich denke mal, dass du besser damit beraten bist, nach entsprechenden Stichworten im Internet zu suchen. Die entsprechenden Internetseiten sind wahrscheinlich besser visuell aufbereitet, als ein Buch. Möglicherweise auch noch mit Applets o.ä.
Möglicherweise hilft es auch, wenn du dir Vektoren erstmal nur als eine Ansammlung von Zahlen betrachtest. Für jede Dimension hast du da eine Zahl und so wie eine einzelne Zahl eine Position auf der Zahlengerade (1D) angibt, geben dir Vektoren Positionen in einer höheren Dimension (z.B. 3D) an. Diese Positionen kannst du dann auf verschiedene Arten (durch andere Vektoren, oder eben auch Matrizen) verändern. Die Tatsache, dass man in der 3D programmierung oft auch Vektoren mit 4 Zahlen betrachtet, hat da nur den Grund, dass man gerne alle Modifikationen auf die gleiche Art machen möchte, mit Matrizen. Für eine verschiebung einer Position geht das aber nicht so einfach mit einer 3x3 Matrix, deshalb erweitert man die Vektoren, damit man dann mit 4x4 Matrizen arbeiten kann.
Aber wie schon gesagt, such doch einfach mal im Internet danach, es gibt unendlich viele Seiten zu Vektoren und Matrizen.
Falls du gut englisch kannst, könntest du dir auch mal diese Playlist hier ansehen
http://www.youtube.com/view_play_list?p=e7ddd91010bc51f8
Am Anfang erklärt er hier auch Vektoren und Matrizen, auch visuell... visueller als ein Video gehts glaub ich auch garnicht