Uno de los míticos orígenes del mahjong sugiere que Confucio, el filósofo chino, desarrolló el juego aproximadamente en el año 500 AC. Así como ocurre con el ajedrez online, las versiones sobre sus orígenes son variadas. Sin embargo, muchos historiadores creen que el juego del mahjong está basado en el juego de cartas chino llamado Ma Tiae.
Por el año 1895, Stewart Culin, un antropólogo americano, escribió un ensayo en el cual se mencionaba al mahjong. Este constituye el primer documento escrito acerca del mahjong en otro idioma que no fuera el chino. Para el año 1910, existían escritos en una gran variedad de idiomas que incluían el francés y el japonés.
Las partidas de mahjong fueron importadas a Estados Unidos por el año 1920 por la empresa Abercrombie & Fitch y se convirtió en un suceso en Nueva York. Luego, el dueño de esta empresa envió emisarios a todas las villas de China para que compraran todos los juegos de mahjong que pudieran encontrar.
En el año 1920 se publicó el primer libro sobre reglas del mahjong, conocido como el libro rojo. En los años posteriores se desarrollaron muchas variantes del mahjong. En años recientes se formó una organización llamada Asociación Americana de Mahjong la cual organiza torneos de majong en toda Norteamérica.


