Алексей Немов с пяти лет начал заниматься спортивной гимнастикой в специализированной детско-юношеской школе олимпийского резерва Волжского автозавода в городе Тольятти. Учился в 76-й школе.

С 1983 года тренируется у мастера спорта по гимнастике, заслуженного тренера России Евгения Григорьевича Николко. В 1999 году Алексей Немов окончил Тольяттинский филиал Самарского государственного педагогического университета. 

Первую победу Алексей Немов одержал в 1989 году на молодёжном первенстве СССР. После удачного старта практически каждый год он стал добиваться выдающихся результатов. В 1990 году Алексей Немов стал победителем в отдельных видах многоборья на Спартакиаде учащейся молодёжи СССР. В 1990—1993 годах он был неоднократным участником международных соревнований и победителем как в отдельных видах программы, так и в абсолютном первенстве.

В 1993 году Немов завоёвывает победу на Кубке РСФСР в многоборье, а на международной встрече «Звёзды мира 94» становится бронзовым призёром в многоборье. Через год Алексей Немов побеждает на чемпионате России, становится четырёхкратным чемпионом Игр доброй воли в Санкт-Петербурге и получает три золотых и одну серебряную медаль на чемпионате Европы в Италии.

На XXVI Олимпийских играх в Атланте (США) Алексей Немов становится двукратным олимпийским чемпионом, получает две золотые, одну серебряную и три бронзовые медали. В 1997 году он завоёвывает золотую медаль на чемпионате мира в Швейцарии. В 2000 году Алексей Немов побеждает на чемпионатах мира и Европы, становится призёром Кубка мира. На XXVII Олимпийских играх в Сиднее (Австралия) Алексей стал абсолютным чемпионом, завоевав шесть олимпийских медалей: две золотые, одну серебряную и три бронзовые.

На Олимпийские игры 2004 года в Афинах Немов приехал в ранге явного фаворита и лидера сборной России, несмотря на полученную перед соревнованиями травму, показав высокий класс, уверенность исполнения и сложность программ. Однако его выступление на перекладине со сложнейшими элементами (включая 6 перелётов, в их числе связку из трёх перелётов Ткачёва и перелёта Гингера), было омрачено скандалом. Судьи выставили явно заниженные оценки (особенно судья из Малайзии, поставивший лишь 9,6 балла), средняя составила 9,725. После этого, возмущённые зрители в зале, стоя, в течение 15 минут, непрекращающимися криками, рёвом и свистом протестовали против решения судей и овациями поддерживали спортсмена, не давая выйти на помост следующему (американскому) спортсмену. Растерявшиеся судьи и техком ФИЖ впервые в истории гимнастики изменили оценки, выставив среднюю немного выше — 9,762, но всё равно лишающую Немова медали. Публика продолжила возмущаться и прекратила протесты лишь когда сам Алексей вышел и обратился к зрителям с просьбой успокоиться. После этого случая некоторые судьи были отстранены от судейства, спортсмену было принесено официальное извинение, а в правила были внесены революционные изменения (помимо оценки за технику, была введена оценка за сложность, которая учитывала каждый элемент отдельно, а также связки между отдельными сложными элементами).