vtipy o jeho narodení sú rôzne. Napríklad, že sa narodil v zrube, ktorý si sám postavil. Carlos Ray Norris sa v skutočnosti narodil v oklahomskom meste Ryan. Bol zakríknutým dieťaťom, k čomu prispela rodinná atmosféra. Jeho otec Ray, čerokézsky mechanik a vodič, bol alkoholik. K jeho plachosti prispelo i to, že v škole sa mu vysmievali pre jeho pôvod a vzhľad. „Ľudia tomu dnes nechcú veriť, ale bol som naozaj chudý, nevyšportovaný. Otec pri nás veľmi nebol, nik ma vtedy neviedol k športovaniu,“ priznal Norris v rozhovore pre televíziu CBN.

Keď mal Carlos šestnásť rokov, rodičia sa rozviedli a spolu s mamou, prisťahovalkyňou z Írska, a dvomi bratmi sa presťahoval do Kalifornie. Tu doštudoval a zakrátko sa oženil s Dianne Kay Holechekovou. Práca leteckého policajta ho priviedla k viacerým veciam, ktoré udávali neskorší smer jeho života. Počas misie Leteckých síl USA sa dostal do Južnej Kórey, kde sa začal učiť tamojšie bojové umenie Tang Soo Doo. Po tom, ako v ňom získal čierny pás, získal rovnaký v taekwonde, karate a džiu-džicu. V roku 1961, keď sa po konci misie vracal domov do USA, mal 21 rokov a štyri čierne pásy v bojových umeniach a hnedý v džude. Z Južnej Kórey si odniesol aj prezývku Chuck. Vznikla, keď sa ho jeden vojak z kasární spýtal, či vie, aký je preklad mena Carlos, na čo mu odpovedal: „Áno, je to Charles.“ Muž pokračoval: „A prezývka pre Charlesa je Chuck. Tak ťa budem oddnes volať.“