Also generell sind bosot Bibliotheken immer sehr highlevel. Man kann sich auf sehr schöne und angenehme Art benutzen und sie sind sehr flexibel einsetzbar. Gerüchte zu Folge leidet darunter manchmal die Performance, und boost ist auch sicherlich eine dicke Abhängigkeit. Oh, und durch den ganzen Template Kram könnten natürlich Compilezeiten ein Thema werden.
Aber an boost tut sich recht viel, irgendwelche Benchmarks die ein Jahr alt sind, müssen heute nichts mehr aussagen. Und boost bietet so viele tolle Sachen, dass ich es schon als zweite Standardbibliothek betrachte - jeder der C++ programmiert soltle boost installiert haben.
Performance sollte bei Netzwerkbibliotheken denke ich nicht so das Problem sein, der mögliche kleine Unterschied wird wohl von den Netzwerkzeiten dermaßen überschattet, das man nichts mehr merken dürfte.
Wenn boost dich vom Interface und den Features eher anspricht, würde ich dir dazu raten. Entwicklungszeit ist bei so ziemlich allen Hobbyentwicklungen das begrenzende Element, da kann man es sich ruhig bequem machen.