Rydberg urodził się w 1854 roku w Szwecji jako jedynak. Ojciec zmarł, gdy Rydberg miał 4 lata, co pogrążyło rodzinę w ubóstwie. W szkole wyróżniał się z matematyki i fizyki. W 1875 r. uzyskał tytuł licencjata, a w 1879 r. – doktora na Uniwersytecie w Lund. W 1880 r. został docentem matematyki, a w 1882 r. – fizyki. Bezskutecznie badał masy atomowe w układzie okresowym pierwiastków. Opierając się na wzorze Balmera dotyczącym wodoru, w 1888 r. stworzył wzór Rydberga dla wszystkich pierwiastków. Ogólne wnioski opublikował w 1890 r. Pomimo poparcia ekspertów, do 1909 r. nie przyznano mu tytułu profesora zwyczajnego. Aby zarobić na życie, pracował dodatkowo jako inspektor bankowy i aktuariusz. Choroba spowolniła jego badania od 1913 r. i doprowadziła do śmierci w 1919 r. w wieku 65 lat. Jego następcą został uczeń Manne Siegbahn. Formuła Rydberga została nazwana na jego cześć stałą i jednostką. Atomy Rydberga zostały nazwane tak ze względu na wysokie stany kwantowe. Jego prace nad widmami wyprzedziły model atomowy Bohra.