El padre de George nació en Yamanashi, Japón, y emigró a los EE. UU. cuando tenía alrededor de 10 años. Su madre nació en California después de que sus padres emigraran de Hiroshima, Japón. En 1942, poco antes de que George cumpliera 5 años, el presidente Roosevelt firmó Orden Ejecutiva 9066. Como resultado, George y su familia, junto con aproximadamente 120.000 japoneses (la mayoría de los cuales nacieron en los EE. UU.), fueron enviados a la fuerza a un campo de encarcelamiento japonés.
Antes de que comenzara la Segunda Guerra Mundial, los abuelos maternos de George volver a Hiroshima con los hermanos menores de su madre. Aunque sus abuelos sobrevivieron al bombardeo atómico de Hiroshima, su tía y su hijo de 5 años murieron. Después de que terminó la guerra, George y su familia fueron liberados del campamento y terminaron viviendo en Skid Row en Los Ángeles durante cinco años.
«Nuestras cuentas bancarias fueron tomadas, nuestra casa fue tomada, nuestro negocio desapareció y el único lugar donde pudimos encontrar vivienda fue en Skid Row en el centro de Los Ángeles, que para nosotros los niños, quiero decir, yo tenía 8 años en ese entonces, era tan traumático como el día que vinieron los soldados y se nos llevaron», dijo George dijo CBC.
En 1960, George obtuvo su licenciatura en UCLA y, unos años más tarde, fue elegido como Hikaru Sulu en Star Trek. Al hablar de su éxito como actor y plataforma, George dicho«Es mi responsabilidad, como estadounidense que pasó y fue moldeada por mi encarcelamiento de la infancia, hacer lo que pueda para acercar nuestra democracia a los ideales que aprecia».