“Se eu tivesse estudado...” Na expressão acima, o verbo está no:

No meu entendimento a questão correta é a B. O pretérito imperfeito composto do subjuntivo (derivado do perfeito do indicativo) se usa, entre outros empregos, em frases que exprimem uma situação passada não concluída.
"Talvez não tivesse estudado o suficiente antes da prova."
O mais que perfeito do subjuntivo - é conclusivo - expressa fato anterior ao perfeito do subjuntivo, o que não é o caso. Ex: Antes dela chegar, eu já tinha/havia estudado. Ou "Antes dela chegar, eu já estudara."