Iniciou a carreira no Dínamo Dresden, em 1987, conquistando o campeonato alemão-oriental de 1989. Em 1990, ainda antes da reunificação das Ligas Alemãs (a alemã-oriental perdurou até 1991), transferiu-se para a Bundesliga, como jogador do VfB Stuttgart, onde foi campeão nacional no primeiro campeonato reunificado, em 1992.

O título e os 20 gols em 63 jogos nas duas Bundes pela clube (ótimo número para um volante) lhe credenciou um contrato com Internazionale, mas, não tendo se firmado na equipe de Milão, voltou à Alemanha (agora unificada), desta vez para jogar no Borussia Dortmund.

Na equipe aurinegra viveu sua fase mais vitoriosa, com um bicampeonato alemão em 1995 e 1996, o título da Liga dos Campeões da UEFA em 1997 (um sonoro 3 a 1 sobre a Juventus de Zidane, Bokšić, Vieri e Del Piero) e, no mesmo ano, o Mundial Interclubes.

Ao lado de Ulf Kirsten, é considerado o melhor jogador da ex-Seleção Alemã-Oriental (pela qual estreara em 1986) que passou a jogar pela Alemanha Reunificada. Já figurava pelo país na Eurocopa 1992, e dois anos depois ia à que seria sua única Copa do Mundo, a dos Estados Unidos.

1996 foi o grande auge de sua carreira: Sammer conquistou o bi nacional pelo Borussia e a Eurocopa pela Seleção Alemã, o primeiro título do país após a Reunificação. Acabou recebendo a Bola de Ouro da France Football naquele ano.

Sammer prosseguia em sua boa fase,e era figura certa entre os convocados para a Copa do Mundo de 1998, mas uma séria lesão no joelho pouco antes do mundial forçou sua prematura aposentadoria.

Em 2000, assumiu o cargo de treinador do Dortmund, por onde conseguiu, em 2002 conquistar o Campeonato Alemão e o vice na Copa da UEFA. Depois, assumiu o Stuttgart em 2005.

Em abril de 2006, assumiu o cargo de diretor técnico da Federação Alemã de Futebol (DFB). Seu nome chegou a ser cotado para treinar a Seleção Japonesa no lugar de Zico, mas ele não aceitou tal cargo.