Chegou ao Barcelona com 13 anos, permanecendo nas divisões da base até 1990, quando fez sua estreia no time profissional, contra o Cádiz.

Se tornou titular em 1991-92, temporada em que a equipe, então comandada pelo técnico Johan Cruyff, conquistou a Liga dos Campeões e o Campeonato Espanhol. Mais dois títulos espanhois vieram nas duas temporadas seguintes, tendo o volante permanecido com a titularidade, assim como em 1996-97, quando foi designado capitão da equipe, nas conquistas da Copa do Rei, das Super e Recopa Europeias, já com Bobby Robson como treinador.

Depois de rejeitar propostas da Roma e do Parma no fim da temporada, o Barcelona renovou o contrato de Guardiola até 2001.

Pep ficou de fora da maior parte dos jogos da temporada seguinte devido a uma lesão que o deixou afastado dos gramados, mas retornou em 1998-99 para participar ativamente de mais conquistas, como o Campeonato Espanhol e a Copa do Rei.

No final do contrato, já com 31 anos, sem ter conquistado mais títulos nas últimas duas temporadas que passou no Barcelona, Guardiola se despediu do clube catalão para ir jogar na Itália, pelo Brescia.

Sondado por diversos clubes ingleses e italianos, acabou assinando com o Brescia e logo depois com a Roma, onde passou por momentos difíceis, sendo suspenso por quatro meses por uso da substência proibida Nandrolona. Depois de retornar ao Brescia em 2003, foi contratado pelo Al-Ahli, clube do Qatar.

Recusou propostas como a do Manchester United para jogar no Qatar, onde virou estrela mas sem o mesmo brilho da época em que defendia o Barcelona. Em 2005, aceitou uma proposta de Juan Manuel Lillo para jogar no México, pela equipe do Dorados de Sinaloa, onde ficou por seis meses antes de encerrar a carreira de jogador.

Guardiola jogou 47 partidas pela Seleção da Espanha, entre 1992 e 2001, e foi capitão do time que ganhou a medalha de ouro nas Olimpíadas de 1992, em Barcelona, sendo esta a maior conquista da história da Seleção daquele país até então. Embora nunca um notável artilheiro, Guardiola marcou na final contra a Polônia, no Camp Nou.

Foi membro da seleção durante a Copa dos Estados Unidos, mas teve problemas com Javier Clemente e não disputou a Euro 1996. Lesões o tiraram da Copa da França em 1998, mas depois jogou a Euro 2000.

Também jogou por 7 vezes pela Seleção Catalã, entre 1995 e 2005.

Em 21 de Junho de 2007, Guardiola foi nomeado oficialmente técnico do Barcelona. Assumiu a partir da temporada 2008-09 a equipe principal do Barça, substituindo o holandês Frank Rijkaard. E desde então, se tornou o melhor treinador estreante de todos os tempos, superando até o lendário Cruyff, conquistando nada mais que a Copa do Rei, o Campeonato Espanhol, a Supercopa da Espanha, a UEFA Champions League, a Supercopa Europeia e Mundial de Clubes da FIFA, na mesma temporada, inclusive conquistando diversos prêmios de melhor treinador do ano por revistas e associações de renome.