Джон Дейвидсън Рокфелер е роден на 8 юли 1839 г. като второ дете в семейство Рокфелер в Ричфорд, Ню Йорк. Тъй като баща му често отсъства от дома, Джон помага на майка си в домакинството и припечелва от продажбата на картофи, сладкиши, отглежда пуйки. Семейството се мести често, докато той расте. Първо посещава академията Owego, а когато се преместват в Кливланд се записва в Cleveland Central High School. Докато учи в гимназията, посещава и курс във Folsom Commercial College по счетоводство.
Когато навършва 16 години, получава първата си работа като помощник-счетоводител във фирма в Кливланд, където използва извънредния труд, за да натрупа опит в преговорите със собствениците на фирми и е особено умел в изчисленията и разходите. Първите три месеца получава по 16 долара, а по-късно заплатата му е увеличена на 50. През този период Рокфелер твърди, че има две мечти и големи амбиции в живота - да спечели сто хиляди долара и да живее сто години.
Джон и неговият първи бизнес партньор, Морис Кларк, събират четири хиляди долара капитал през 1859 г., а година по-късно вече правят голяма печалба от около 17 000 долара.
През 1866 г. братът на Джон построява рафинерия в Кливланд и го кани да бъде негов бизнес партньор. До края на следващата година рафинерията става най-голямата в света, благодарение на добрия контрол на разходите, използването на отпадъците и непрекъснатите инвестиционни практики за генериране на печалби.
През 1870 г. Джон Рокфелер основава петролната си компания "Стандарт ойл" в Охайо и неговите рафинерии стават най-печелившите. С течение на времето компанията придобива господство на пазара за рафиниране и продажба на нефт с цели 90% от американския пазар. Много журналисти и политици осъждат и атакуват компанията, твърдейки, че по това време "Стандарт Ойл" е най-жестоката, безмилостна форма на монопол, на което Джон отговаря, че в големия бизнес, с който се занимава, се случват неща, които той не винаги одобрява, но се опитва да ги коригира.
Фамилията Рокфелер е критикувана от обществеността и през 1989 г. когато продава 51% от акциите си на японската компания "Мицубиши", по-точно акциите на Рокфелер груп, която притежава Рокфелер център.
Още с първата си заплата, когато е на 16 години, Рокфелер дава процент от приходите си за благотворителност. С нарастването на доходите му той инвестира все повече в образование и здравеопазване, наука, изкуство и се смята, че е дал повече от 250 милиона долара за благотворителност със своята фондация. Заедно със сина си той основава фондация "Рокфелер", която първоначално оказва голяма финансова подкрепа на общественото здравеопазване, а през 2008 г. тя е на 39-то място по размер на даренията.
След като се оттегля от бизнеса, се смята, че е спечелил средно един милиард и петстотин милиона долара от инвестиции и компании, което е най-голямата сума, която частно лице генерира до този момент. Умира на 23 май 1937 г. във Флорида.
Рокфелер център, разположен в Манхатън, е комплекс от 19 сгради, които семейство Рокфелер построява през 1930 г., а през 1987 г. е класифициран като национална забележителност на Съединените американски щати. Днес Рокфелер център е централата на известната национална телевизионна компания "NBC".