Use esta configuração nos tópicos do #kafka, então será obrigatório produzir eventos com a chave de particionamento. E, periodicamente, as duplicatas serão removidas, mantendo somente o registro mais recente para cada chave.
1
cleanup.policy=compact