Он родился 30 апреля 1777 года в Брауншвейге (север Германии); родители мальчика принадлежали к рабочему сословию.

Уже в три года Иоганн мог так хорошо читать и считать, что сумел заметить ошибку в вычислениях отца (тот как-то подсчитывал жалованье рабочих-каменщиков, делая пометки на листе бумаги). 

Бытует еще одна история о детстве Гаусса. Его мать не запомнила точной даты, когда он появился на свет – но говорила, что это случилось в среду, за 8 дней до Пасхи. Зная это, мальчик смог сам вычислить день своего рождения.

В 1791 году на юношу, который делал недюжинные успехи в учебе, обратил внимание граф Брауншвейга – и взял на себя расходы по его обучению в школе, а впоследствии – и в университете Гёттингена (1795–1798). 

Уже в 1792 молодой математик открыл, что правильный семнадцатиугольник (кольцеобразную фигуру с 17 гранями) можно построить, используя только циркуль и линейку.

Примерно тогда же Гаусс описал принцип распределения простых чисел (то есть тех, которые не делятся ни на что, кроме 1 и самого себя) и доказал Квадратичный закон взаимности.

  В 1799 году Гаусс направил диссертацию в Хельмштедтский университет – свое доказательство основной теоремы алгебры. За эту бумагу он заочно получил докторскую степень.

В 1801 в Лейпциге из печати вышли его «Арифметические исследования» – первая крупная работа. На 600 страниц с лишним Гаусс изложил все открытия своих предшественников-арифметиков и описал свои исследования. Три года спустя знаменитый физик Жозеф Луи Лагранж написал молодому ученому: «Ваши «Исследования» сразу же возвысили Вас до уровня первых математиков, и я считаю, что последняя часть содержит самое красивое аналитическое открытие среди сделанных на протяжении длительного времени».
В том же году он стал членом-корреспондентом российской Академии наук.  

К ноябрю 1801 Гаусс рассчитал орбиту карликовой планеты Цереры, которая была открыта в начале того же года итальянцем Джузеппе Пиацци.

В 1833 над крышами Гёттингена появилась трехкилометровая проволока – это был телеграф, связавший обсерваторию Гаусса и лабораторию его коллеги Вильгельма Вебера. Их изобретение позволяло им обмениваться репликами со скоростью 6 слов в минуту. Случилось это 7 лет до того, как Сэмюэл Морзе запатентовал в Америке электромеханический телеграф. Впрочем, самым ранней моделью телеграфа считается разработка российского подданного П.Л. Шиллинга, изобретенная годом раньше. Гёттингенский телеграф был уничтожен в 1845 ударом молнии.

 Иоганн Карл Фридрих Гаусс умер на 78 году жизни, 23 февраля 1855 года.

Бытует слух о том, что Гаусс просил высечь на его надгробии многоугольник с 17 сторонами . На могильном камне в Гёттингене этой фигуры нет, но ее можно заметить на памятнике, который стоит в родном городе ученого – Брауншвейге.