Neste tempo em que esteve no Clube, Acabou sendo prejudicado por uma série de lesões, que fizeram com que Karl atuasse com mais regularidade. Além disso, acabou tendo a sua movimentação limitada e acabou fazendo com que passasse a jogar junto do capitão Altobelli dentro da área adversária de maneira fixa, sendo apoiados por Brady, Mandorlini e Causio. 

Sua melhor temporada em Milão foi a de estreia, marcando 18 gols em 44 partidas. Oito destes jogos foram pela Serie A, enquanto os outros cinco foram na Copa Uefa. Na competição continental, o time de Panzer parou na semifinal para o Real Madrid. No cenário nacional, a equipe de Milão era a grande favorita a ficar com o scudetto mas acabou ficando na terceira colocação, não muito atrás de Verona e Torino, além de ter caído nas semifinais da Coppa Italia para o rival Milan.

Ao longo deste seu primeiro ano, seu momento de mais destaque foi num jogo contra a Juventus, que contava com Trapattoni, Scirea, Cabrini, Tardelli, Boniek, Rossi e Platini. Na ocasião, a Inter goleou a Veccia Signora, que tinha um dos melhores elencos do futebol italiano, por 4 a 0. No torneio europeu, Rummenigge, marcou um dos tentos mais bonitos de toda a sua carreira acertando um belo voleio diante do Rangers, mas Acabou Sendo anulado por um suposto jogo perigoso.

No ano seguinte, com as chegadas de Tardelli e Fanna para o meio de campo, Panzer chegou sua melhor marca no Campeonato Italiano, anotando aos 13 gols e se sagrando vice-artilheiro da Serie A, ficando atrás apenas de Roberto Pruzzo, da Roma, com 19 tentos. Seus gols mais importantes aconteceram nos empates em 2 a 2 com o Milan e 3 a 3 diante do Torino.

Entretanto, a Internazionale acabou indo mal na competição nacional e ficou apenas na sexta colocação, conquistando a vaga para a Copa Uefa seguinte graças a Roma, que ganhou o título da Coppa Italia. Com o Milan na sétima posição, seria a primeira vez que um dos dois times de Milão ficariam de fora de competições europeias. Na competição europeia, Karl não conseguiu evitar que o clube nerazzurri fosse mais uma vez eliminado nas semifinais pelo Real Madrid. Na Copa do Mundo de 86, disputada em solo mexicano, o artilheiro foi o líder da seleção da Alemanha Ocidental, que terminou vice-campeã para a Argentina, que contava com Maradona. Na grande decisão, Rumennigge marcou na final, mas não evitou o triunfo da Albiceleste por 3 a 2.

Seu terceiro e último ano do craque alemão foi melancólica, mesmo sendo comandado por Trapattoni. Panzer disputou de apenas 14 partidas na Serie A por conta de contusão e não permitiram que a equipe de Milão conseguir na caça ao Napoli, que tinha Maradona, Careca e Giordano e acabou campeão italiano.

Enquanto esteve em ação, Rummenigge não conseguiu evitar as derrotas para o Cremonese nas quartas de final da Coppa Italia e na mesma fase e nas quartas da Copa Uefa para a equipe Gotemburgo, que acabou sendo campeão do torneio. Depois do insucesso, Panzer rumou a Suíça para defender o Servette, clube no qual ainda conquistou um campeonato nacional e foi artilheiro um pouco antes de pendurar as chuteiras. Aposentado, se tornou vice-presidente do Bayern de Munique entre 1991 e 2002, e agora atua na área de relações públicas do clube bávaro.

Apesar de não ter conquistado títulos em Milão e jogado o tanto de partidas que se esperava, Karl não chegou a ser considerado um fracasso no clube. Naquela época, o alemão tinha plenas condições de ser um craque para a Inter, como Platini foi na Juve. O fato de desfalcar a equipe nerazzurri não importava tanto assim, já que quando esteve em campo, pôde demonstrar o seu valor demonstrando a sua categoria e marcando gols decisivos.

Sua passagem, inclusive, abriu portas para que seus compatriotas alemães brilhassem na Internazionale ao longo da década de 80. Posteriormente, Andreas Brehme e Lothar Matthäus foram peças fundamentais para que o time azul e preto conquistasse o scudetto na temporada 1988-89 batendo uma série de recordes. No ano seguinte, Jürgen Klinsmann foi outro astro germânico que veio a aparecer no clube.