Um azulejo com base retangular medindo 20 por 30 centímetros precisa ser prop...

Esta conta não bate. A área atual é 600 (20 x 30), então, 64% desta área é 384 (12,8 x 19,2). O perímetro original do azulejo é 100 cm (30+20 + 30+20). Para o perímetro ser 80, o azulejo deveria ter dois lados de 24 cm e dois de 16, ou seja, exatamente 80% do perímetro original. A questão está errada.

Na verdade o exercício diz que a área do polígono será reduzida em 64%, logo a área que era de 600 passa a ser 384.
Para descobrir-se o valor dos novos lado há duas fórmula, x*y=384 e x/y=2/3, somente pela proporcionalidade que há entre os lados.
Assim temos que x = 2y/3, substituindo na outra fórmula, temos que y*2y/3 = 384, y²=384*3/2, x²= 576, e x=24, substituindo, se x= 24, logo y= 16