Дубли будут в любом случае... В похожей теме я и задавал этот вопрос... При сканировании даже одного ТП без включения сетевого поиска вылазят дубли, так что от них не избавиться. Я пробовал сканировать все указанные ТП на сайте НТВ+ в ручную (т.е. без включения сетевого поиска), результат один - куча дублей. В итоге вычистил все в редакторе...