A multiprogramação aumenta a utilização da CPU organizando os jobs (código e dados) prontos para serem executados, de modo que a CPU tenha sempre um deles para executar, não ficando ociosa.

Em sistemas de tempo compartilhado, a CPU executa múltiplos jobs alternando-se entre eles, mas as mudanças ocorrem com tanta frequência que os usuários ficam impedidos de interagir com os programas enquanto estão sendo executados.

O SO mantém vários jobs na memória simultaneamente; como a memória costuma ser pequena para acomodar todos os jobs, estes são mantidos inicialmente em disco na fila de jobs, que é composta por jobs que aguardam alocação na memória principal.

A multiprogramação pode ser comparada ao trabalho de um advogado: ele trabalha para vários clientes; enquanto um caso está aguardando julgamento ou esperando documentos, ele pode trabalhar em outro caso.

O tempo compartilhado (ou multitarefa) é uma extensão lógica da multiprogramação. Apenas um pequeno tempo de CPU é dado a cada usuário, de forma que ele tem a impressão de que todo o sistema de computação está dedicado exclusivamente ao seu programa.