Początki jego historii sportowej na studiach nie były kolorowe. Podczas pierwszych dwóch lat nauki, większość czasu spędził na ławce rezerwowych. Zdarzyło się nawet tak, że był dopiero siódmym wyborem wśród rozgrywających, ponieważ w liceum był pierwszym rozgrywającym, ta sytuacja sprawiła, że Brady musiał nawet korzystać z pomocy psychologów. Tom się nie poddał, trenował najciężej z drużyny, a w trzecim i czwartym roku dostał się do podstawowego składu drużyny. W tym czasie pobił nawet kilka uczelnianych rekordów oraz doprowadził drużynę do tytułu mistrzowskiego.