Les relations se durcissent davantage encore avec VGE, et, jugeant qu’il ne « dispose pas des moyens [qu’il] estime nécessaires pour assumer efficacement les fonctions de premier ministre », il remet sa démission le 26 juillet 1976. Il est remplacé par Raymond Barre. Parallèlement, il est élu député et entre à l’Assemblée nationale en novembre 1976. Au pas de charge, il crée le Rassemblement pour la République (RPR), parti qui lui est entièrement dévolu, dont il devient le président le 5 décembre 1976. Le 25 mars 1977, il devient le premier maire de Paris élu au suffrage universel. L’Hôtel de ville sera pour lui un puissant tremplin électoral.

La difficile cohabitation

Fort de sa popularité dans la capitale, Jacques Chirac mène une campagne tambour battant pour les législatives de 1978, où le RPR finit en tête. Il est en opposition quasi permanente avec la politique gouvernementale, et ses relations avec VGE deviennent exécrables. Le 26 novembre 1978, transporté à l’hôpital Cochin à la suite d’un accident de voiture, il lance « l’appel de Cochin », dans lequel il critique violemment l’UDF, le parti du président, et VGE lui-même. En 1981, après avoir longtemps hésité, il annonce le 3 février sa candidature à l’élection présidentielle. Il finit troisième au premier tour et soutient du bout des lèvres VGE face au candidat de la gauche, François Mitterrand, qui est élu le 10 mai 1981.

Après sa défaite, Jacques Chirac oriente le RPR vers le libéralisme économique tout en affirmant sur les questions de sécurité le rôle d’autorité de l’Etat. Le parti est rajeuni, avec l’entrée d’Alain Juppé, de Jacques Toubon ou de Philippe Séguin, tous élus maires aux municipales de 1983. Il obtient lui-même un grand succès à Paris, en remportant la totalité des arrondissements, et renforce son assise de chef de l’opposition.