Se vocé estiá recebendo mensagens duplicadas pelo Outlook Express, o arquivo Pop3uidl.dbx pode estar danificado.

A Microsoft indica, neste artigo, como você pode solucionar o problema: http://support.microsoft.com/kb/314578/en-us

Caso esteja recebendo mensagens duplicadas pelo Microsoft Outlook 2003, o programa pode precisar de uma atualização. 

A Microsoft indica, neste artigo, como você pode solucionar o problema:http://support.microsoft.com/default.aspx?scid=kb%3Bpt-br%3B885870

Porém, este pode não ser a única causa do problema. Instabilidades na sua conexão, por exemplo, também pode gerar comportamento similar. Se você começa a baixar os e-mails e na metade a sua conexão cai, ao conectar no servidor você irá baixar todas as mensagens já baixadas novamente. Isso acontece porque o Outlook baixa uma cópia de todas as mensagens e depois, somente no final do processo, quando as mensagens já tiverem sido baixadas, ele exclui as mensagens do servidor.