Harkes começou sua carreira como quase todo jogador dos Estados Unidos, disputando torneios universitários, pela Universidade da Virgínia. Nessa época, Harkes era colega de outros jogadores que também viriam a se destacar na seleção, como Tab Ramos e Tony Meola.

Em 1990, o meia deixou o país para jogar no futebol europeu. O destino foi o Sheffield Wednesday, onde atuou por quatro temporadas. Ainda na Inglaterra, defendeu o Derby County e o West Ham antes de voltar aos EUA, em 1996.

Em seu primeiro ano como capitão do DC United, conquistou o título da MLS (Major League Soccer, a divisão principal) e também a US Open Cup (a copa nacional).

Voltou a ser campeão nacional no ano seguinte e, em 1999, se transferiu para o New England Revolution, onde jogou até 2001, quando acertou com o Columbus Crew.

Jogou pela seleção pela primeira vez em março de 1987, em uma partida contra o Canadá. Disputou as Olimpíadas de 1988 em Seul e marcou seu primeiro gol no ano seguinte, contra a Coréia do Sul.

Harkes foi titular nas três partidas da primeira fase dos Estados Unidos na Copa da Itália, em 1990, e repetiu a dose em 1994, na Copa de seu país. Foi dele o cruzamento que resultou no gol contra do zagueiro colombiano Andrés Escobar, que seria assassinado ao chegar de volta à Colômbia.

Por acúmulo de cartões amarelos, o meia não chegou a enfrentar o Brasil pelas oitavas-de-final da competição.

Semanas antes do Mundial da França, em 1998, Harkes se machucou e acabou cortado pelo técnico Steve Sampson. Abandonou a equipe em 2000, não tendo sido lembrado para a Copa do Mundo FIFA de 2002, onde os EUA chegaram em oitavo lugar.

O jogador anunciou sua aposentadoria em 2003, e desde então é dirigente das categorias de base do Columbus Crew - clube onde encerrou a carreira - e comentarista esportivo de televisão.