Para listar o conteúdo de um arquivo, retirando as linhas repetidas, basta passar a saída do comando pelo awk:

cat arquivo.log | awk '!a[$0]++'

Se quiser, ainda dá para listar apenas uma coluna do arquivo.