m、xの表記は、Ax、Amが最初に使われ、Bx、Bmはそれにならって使われたようです。
「m」は、modifying gene（抑制遺伝子）の略と言う説と
Amがサルの血球の吸着解離試験でA抗原が確認されたことから
monkeyのmをとって名付けられたという説もあります。
「x」は、よく未知のものを表現するときに使われる意味のxではないかと思われます。

残念ながらはきりとしたことが書いてある文献を見つけることができませんでしたので参考程度でお願いします。

ちなみにＡel、Ｂelの el は、抗Ａ・抗Ｂ吸着解離試験によってこの血液型が確認されることから
elutionの el を用いて表記しているようです。

参考文献：血液型と輸血検査（第２版） 医歯薬出版株式会社
　　　　　 　輸血学（第3版）