Après Nice, Rex resta quelque temps en Europe puis se rendit seul en Australie où il joua, en 1949, avec des orchestres indigènes. Lorsqu'il revint aux Etats-Unis en 1950, la situatIon du jazz s'était considérablement dégradée, la clique progressiste ayant commencé son œuvre funeste.
Rex ne put retrouver des engagements dignes de lui. Réduit à un demi-chômage comme tant d'autres grands jazzmen, il joua de ci de là, participant de loin en loin à quelques enregistrements. Il dénonça d'ailleurs cet état de choses dans une déclaration reproduite dans le Bulletin N° 113 : « Etrange époque pour les musiciens. La plupart d'entre eux sont au chômage. Le public est surtout formé de moins de vingt ans qui ne s'intéressent qu'à ce que présentent les disc-jockeys. Et les disc-jockeys ne présentent que ce que le « syndicat » leur dit de présenter. Car il existe une sorte de cartel officieux composé de chefs de service publicité de marques de disques, d'impresarios et d'agents, et ce sont eux qui décident des musiciens qu'on entendra à la radio, qui feront des tournées et qui auront du travail. La preuve, c'est qu'à peu près tous les musiciens auxquels vous pouvez penser n'ont pas le droit de travailler régulièrement … J'ai vu Big Sid Catlett, Lips Page, Billie Holliday, Lester Young et bien d'autres mourir à force de se voir lésés, exploités par ceux qui tirent les ficelles et contrôlent le business ».
Jouant souvent avec des musiciens qui ne lui convenaient guère, il n'est pas étonnant que Rex n'ait que rarement retrouvé sa meilleure inspiration, comme en témoignent ses disques des années 50. Le seul LP (paru sous sa signature) d'une classe semblable aux anciens Rex est celui que lui fit enregistrer Stanley Dance en 1958 : Tillie's Twist, Pretty Ditty, etc. (cf. Bulletin N° 94), fruit de deux séances d'enregistrement. On constate, à l'audition de ce disque, que Rex n'avait rien perdu de son grand talent : au lieu d'arriver au studio sans avoir rien préparé et de se contenter, comme tant d'autres, de dire « Jouons le blues en si bémol et prenons chacun x chorus », il enregistra six morceaux inédits qu'il avait composés en collaboration avec d'autres musiciens (Rex compositeur ! Je m'aperçois que je n'en ai rien dit ; il est pourtant l'auteur de nombre d'excellents thèmes) et qu'il avait fait arranger les uns par George Kelly, les autres par Dick Cary. Aussi la musique enregistrée au cours de ces deux séances, au lieu de ressembler à tant de « jam sessions » hâtives, a-t-elle sa saveur propre, et quelle saveur ! Une fois de plus, la personnalité de Rex a son effet catalysant : tout le monde joue bien - rudement bien ! - à commencer par lui-même : ses solos de Trade Winds, Pretty Ditty, Blue Echo (plus que ceux de l'autre séance) sont d'une admirable inspiration; et son style y est aussi direct, aussi aisé et purement jazz que vingt-cinq ans plus tôt (on ne saurait en dire autant de bien d'autres jazzmen).
Pendant les années 60, trouvant de moins en moins de travail, Rex devint présentateur de disques à la radio, en Californie. Au cours de ces dernières années, il se mit à écrire des articles, pour la revue « Down Beat » généralement, dont quelques-uns remarquables, celui sur Louis Armstrong surtout ( « Down Beat » du 15 Juillet 1965), dans lequel cette phrase merveilleuse vint sous sa plume: « He can take one note and swing you into bad health on that same note ». Il est à peu près impossible de bien rendre en français toute la saveur de cette phrase, dont le sens est : « Il peut jouer une note, une seule -et la swinguer à vous en rendre malade ».
Dans cet article sur Louis Armstrong, Rex dit que Pops est un homme tout à fait énigmatique; et c'est vrai, comme ont pu le constater tous ceux qui ont pu approcher Pops. Mais Rex lui-même n'était guère moins énigmatique dans son genre. Ceux qui l'ont bien connu savent à quel point il était sensible, émotif à l'extrême, passant facilement de l'attendrissement à la méfiance, de la gaieté à la mélancolie -et ses réactions demeuraient le plus souvent imprévisibles. Rex souffrit beaucoup, dans la dernière partie de sa carrière, d'être injustement tenu à l'écart et de ne pouvoir : jouer que par intermittences.