Kaye começou a tocar piano aos seis anos de idade e começou a tocar órgão Hammond profissionalmente aos 16 anos. Em 1968, ele se juntou ao Yes, que então era composto pelo baixista Chris Squire, o guitarrista Peter Banks, o Baterista Bill Bruford e o vocalista Jon Anderson.

Kaye gravou os três primeiros álbuns do Yes: "Yes" (1969), "Time and a Word" (1970) e "The Yes Album" (1971). Em 1971, ele deixou o Yes devido a diferenças musicais com os outros membros da banda.

Após deixar o Yes, Kaye formou a banda Badger com o baixista John Wetton e o baterista Bill Bruford. A banda lançou dois álbuns, "Once Bitten Twice Shy" (1972) e "Buried Alive" (1974), antes de se dissolver.

Kaye também trabalhou como músico de sessão, tocando com uma variedade de artistas, incluindo David Bowie, Elton John, Rick Wakeman e Carly Simon.

Em 1995, Kaye se reuniu com o Yes para uma turnê comemorativa de 25 anos. Ele continuou a tocar com o Yes em turnês e gravações esporádicas até 2008.

Kaye também lançou uma série de álbuns solo, incluindo "The Collectors Edition" (1979), "The Classical Collection" (1995) e "End of Innocence" (2001).

Kaye é um tecladista versátil que é proficiente em uma variedade de instrumentos, incluindo órgão Hammond, piano, sintetizadores e mellotron. Ele é conhecido por Seu Estilo de tocar melódico e atmosférico.

Kaye é considerado um dos tecladistas mais importantes do rock progressivo. Ele ajudou a moldar o som do Yes com seu estilo de tocar único e criativo.

Algumas das principais conquistas de Tony Kaye incluem:

• Ser um dos membros fundadores do Yes;
• Gravar os três primeiros álbuns do Yes;
• Trabalhar como músico de sessão com uma variedade de artistas;
• Lançar uma série de álbuns solo.

Kaye é uma figura importante na história do rock progressivo. Seu estilo de tocar único e criativo ajudou a moldar o som do Yes, e ele continua a ser uma inspiração para músicos de todo o mundo.