Omawiając kwestię organizacji III Olimpiady, Międzynarodowy Komitet Olimpijski zdecydował się na jej zorganizowanie na terenie Stanów Zjednoczonych, ponieważ ten kraj w dwóch poprzednich igrzyskach wykazał się dobrymi wynikami. Początkowo chcieli zorganizować igrzyska w Chicago lub Nowym Jorku, ale w rezultacie wybór padł na małe portowe miasteczko St. Louis.
W ramach Wystawy Światowej odbyła się III Olimpiada w St. Louis wraz z Olimpiadą Paryską. Jednak lokalny zarząd Wystawy nie traktował jej jako konkurenta, lecz przeciwnie, w każdy możliwy sposób starał się wykorzystać gry do własnych celów reklamowych. Ponadto organizatorzy powtórzyli niektóre błędy Letnich Igrzysk Olimpijskich 1900 w Paryżu. Dzięki przywiązaniu do Wystawy Światowej zawody zostały zepchnięte na dalszy plan, a sama olimpiada trwała prawie 5 miesięcy (1 lipca - 23 listopada 1904). Wiele zawodów odbywało się pod przewodnictwem różnych organizacji zawodowych, mimo to wszystkie otrzymały tytuł dyscyplin olimpijskich.
Według MKOl w Letnich Igrzyskach w St. Louis wzięło udział 12 krajów. Jedynym stanem, który po raz pierwszy wziął udział w zawodach była Republika Południowej Afryki. W porównaniu z olimpiadą w Paryżu liczba uczestniczących krajów dramatycznie spadła. Trzynaście stanów, które uczestniczyły w Letnich Igrzyskach Paryskich, nie mogło przybyć do St. Louis ze względów ekonomicznych. W konkursie nie wzięła udziału Rosja, która toczyła wówczas wojnę z Japonią.
W III Letnich Igrzyskach Olimpijskich wzięło udział 651 osób, w tym 6 kobiet. Rywalizowali o 94 zestawy nagród w 18 dyscyplinach sportowych. Najliczniejsza była drużyna Stanów Zjednoczonych Ameryki, która na meczach reprezentowała 533 osoby. W wielu dyscyplinach sportowych (boks, zapasy, piłka wodna, łucznictwo i tenis) występowali tylko amerykańscy sportowcy, więc igrzyska wyraźnie pokazały wyższość kraju.
W St. Louis po raz pierwszy zaczęli nagradzać trzech, a nie dwóch sportowców, którzy wykazali najlepszy wynik. Główny zwycięzca konkursu został nagrodzony złotym medalem; sportowiec, który zajął drugie miejsce - srebro; a trzecie miejsce zostało nagrodzone brązowym medalem. Tradycja ta przetrwała do dnia dzisiejszego.
W nieoficjalnej imprezie drużynowej kraje startujące uplasowały się następująco: I miejsce – USA (78 złotych, 82 srebrne, 78 brązowych medali), II miejsce – Niemcy (4 złote, 4 srebrne, 5 brązowych medali), III miejsce – Kuba (4 złote, 2 srebrne, 3 brązowe medale).
