Urodzony 15 września 1858 r. w Strasburgu w rodzinie arystokratycznej. Szybko stracił rodziców i dorastał pod opieką dziadków. Lektura dzieł filozofów pozytywistycznych doprowadziła go do utraty wiary. Jako adept szkoły oficerskiej prowadził życie hulaki, aż w końcu wydalono go z armii za złe prowadzenie się. Los sprawił, że znalazł się w Afryce, która zafascynowała go tak bardzo, że zaczął zgłębiać tajniki etnologii oraz języków arabskich. Po wyprawie do Maroka zyskał sławę badacza i podróżnika. Zaczął wtedy poszukiwać drogi do Boga, wyspowiadał się, przyjął Komunię św. i wyruszył na pielgrzymkę do Ziemi Świętej. Dojrzewał do decyzji, aby żyć na wzór Jezusa z Nazaretu w duchu ewangelicznego ubóstwa.
Wstąpił do trapistów, gdzie z woli przełożonych – jako brat Maria Alberyk – skończył teologię i przyjął święcenia kapłańskie, choć sam uważał, że to zbędne, bo św. Józef teologii nie studiował. Coraz bardziej irytowało go, że wstępując do trapistów, więcej otrzymał, niż dał. Kiedy papież zezwolił trapistom – czy raczej nakazał im – używać oliwy i masła do kraszenia jarskich potraw, żalił się, że to obniża wartość umartwienia.
Po siedmiu latach odszedł od trapistów i jako brat Karol od Jezusa – odziany w białą tunikę z czerwonym sercem zwieńczonym krzyżem, z napisem: „Jezus-Caritas” – został ascetą, pracującym fizycznie wśród ubogich. Przez cztery lata był ogrodnikiem, murarzem i stolarzem u klarysek w Nazarecie, a potem zamieszkał wśród koczowniczej społeczności Tuaregów na Saharze. Przełożył na ich język Ewangelię, a swe życie ofiarował Bogu za nawrócenie ludów zamieszkujących Saharę, które ewangelizował przez osobiste świadectwo wiary.
W 1916 r., podczas walk plemiennych, został zastrzelony.
Zainspirowany jego zapiskami ojciec René Voillaume założył w 1933 r. Zgromadzenie Małych Braci Jezusa, a sześć lat później Magdalena Hutin powołała Zgromadzenie Małych Sióstr Jezusa. Obecnie duchowa
rodzina Karola de Foucauld obejmuje ponad 20 wspólnot, instytutów świeckich i stowarzyszeń kościelnych.