23 сентября 2003 года Зюганов направил в Генпрокуратуру и Центральную избирательную комиссию РФ депутатский запрос, в котором потребовал возбудить административное дело против Путина как должностного лица категории «А» и оштрафовать его на сумму 22 500 рублей за ведение предвыборной агитации вне агитационного периода партии «Единая Россия». Однако председатель ЦИК РФ Александр Вешняков и председатель Совета Федерации Сергей Миронов возразили, что не усмотрели в выступлении президента ничего противозаконного. Глава КПРФ пытался подавать жалобу в вышестоящие инстанции, однако ни один суд не рассмотрел жалобу по существу.
В 2003 году избран депутатом Государственной думы IV созыва по списку КПРФ.
Не участвовал в президентских выборах 2004 года, вместо него Компартию представлял Николай Харитонов. По официальным данным, он занял второе место, набрав 13,69 % голосов избирателей.
В 2004 году Зюганов оставил пост председателя координационного совета НПСР. Пост занял Геннадий Семигин, но КПРФ отказывается признавать его избрание.
Также в 2004 году произошёл внутрипартийный конфликт. 3 июля 2004 года в Москве прошли два X Съезда КПРФ, один избрал председателем ЦК КПРФ Зюганова, другой «альтернативный» отстранил последнего и выбрал главой ЦК Владимира Тихонова. Минюст признал «альтернативный съезд» нелегитимным. Таким образом Зюганов сохранил лидерство в партии.
В том же году вышла книга Зюганова «О русских и о России», в которой он заявил о необходимости всем патриотам и коммунистам защищать русских. В книге высказывалась мысль о том, что обвинения России в возрождении русского шовинизма являются отражением выросших волнений мировой закулисы, которая осознаёт, что глобальная антирусская интрига находится в данное время на грани срыва.
В 2006 году высказал мнение о желательности разработки проекта «Новая внешняя и внутренняя политика», порекомендовав использовать опыт Белоруссии, Индии, Китая, Вьетнама и Европы.
В 2007 году по списку КПРФ избран депутатом Госдумы РФ пятого созыва.
Принял участие в выборах 2008 года, заняв второе после Дмитрия Медведева место (по официальным данным, более 13 млн голосов, или 17,72 % от принявших участие в выборах).
В ноябре 2008 года, когда в России разгорелся экономический кризис, в качестве антикризисной меры Зюганов предложил подвергнуть национализации основные богатства России.