Окончил Московский геологоразведочный институт, работал в НИИ минерального сырья. В 1990 году присоединился к учрежденной Аркадием Воложем фирме «Аркадия».
В 1993 году стал основным автором поисковой системы Яndex, прообраза самого популярного интернет-поисковика России. С момента создания компании «Яндекс» в 2000 году является директором по технологиям, руководителем департамента разработки и одним из крупнейших ее акционеров.
Вместе со своей женой Марией, Илья Сегалович активно занимается благотворительностью (организация «Дети Марии»), организует приезд в Россию для развлечения больных детей международной команды клоунов Пэтча Адамса и сам нередко выступает в составе этой команды.