Meu amplificador esquenta muito após algumas horas de uso. Isso é normal?

Sim, isso é absolutamente normal. As válvulas esquentam bastante e transferem esse calor para outras partes do aparelho, principalmente partes metálicas.

Válvula é um componente que necessita do aquecimento de seus filamentos para funcionar, opera em altas temperaturas, inclusive não é recomendado que se toque nelas mesmo após um tempo desligadas sob risco de causar uma queimadura.