Pedro pergunta a Paulo se ele pode trocar uma nota de R$ 100,00 por duas nota...

Sabemos que para calcular probabilidade, basta dividirmos o número de casos favoráveis pelo número de casos possíveis.
Como ele tem pelo menos uma nota de cada, então ele consegue formar 80,00 com uma de 10, uma de 20 e uma de 50.

Temos que saber como podemos formar os outros 120,00. Vamos dividir em casos:

– Se ele não possuir mais notas de 50, teremos que formar 120,00 com notas de 10 e 20:
São 7 opções: 12 notas de 10; 1 de 20 e 10 de 10; 2 de 20 e 8 de 10; 3 de 20 e 6 de 10; 4 de 20 e 4 de 10; 5 de 20 e 2 de 10; 6 de 20.

– Se ele possuir mais uma nota de 50, teremos que formar 70,00 com notas de 10 e 20:
São 4 opções: 7 notas de 10; 1 de 20 e 5 de 10; 2 de 20 e 3 de 10; 3 de 20 e 1 de 10.

– Se ele possuir mais duas notas de 50, teremos que formar 20,00 com notas de 10 e 20:
São 2 opções: 1 de 20 ou 2 de 10.

Verificamos que o número de casos possíveis é 7 + 4 + 2 = 13
Para contarmos o número de casos favoráveis, devemos considerar as opções onde ele tem pelo menos duas notas de 50, ou seja, 4 + 2 = 6.
Probabilidade = 6/13

e a probabilidade de ele ter 3 notas de 50 na carteira?

Não entendi a lógica, a questão pergunta a probabilidade de fazer a troca pedida e a troca pedida é 2 notas de 50.
Existe a possibilidade de ter somente uma nota de 50, que atenderia o pedido.
Existe a possibilidade de ter 2 notas de 50, que atenderia.
E a possibilidade de ter 3 notas de 50 que também atenderia.
A questão não diz que poderia trocar os 100 de qualquer forma.