Also du scheinst ja schon ganz gute Grundkenntnisse zu haben. Das Buch von Heiko Kalista ist wirklich für absolute anfänger gedacht.
An deiner Stelle würde ich einfach mal die SFML runterladen und irgendein 2D Spiel (am besten ein etwas komplexeres als Pong

) programmieren und mal gucken, ob deine Kenntnisse soweit vorhanden und gefestigt sind.
Wenn es nicht gut klappt, solltest du noch eine weile im 2D bereich bleiben, bis du meinst, dass du soweit bist. Das heißt dann, keine Probleme mehr mit C++ selbst hast, die STL gut kennst und dich schnell in andere Bibliotheken einarbeiten kannst.
Dann kannst du David Scherfgens Buch lesen, für die Grundladen von 3D und DirectX. Wenn du eher der selfmade-typ bist, kannst du dich auch gleich an OpenGL versuchen und mit online Tutorials die Grundlagen lernen und vielleicht nen eigenes kleines 3D Framework schreiben.