Thread adicionada
Na data de hoje foi aberta uma thread no crawler, agora a capacidade de indexação foi dobrada em relação a versão anterior do crawler.
Assim que desafios técnicos forem solucionados será implementada uma quantidade configurável de threads, isso significa que o crawler poderá indexar em “várias frentes” tornando o processo mais rápido.
Se um único processo do crawler for executado no servidor, enquanto este aguarda uma resposta do site o link fica ocioso havendo assim uma sub-utilização do link de acesso a internet. Como os computadores atuais são dotados de grande capacidade de processamento e memória pode-se abrir quantas threads o link suportar, tornando o processo de indexação mais rápido e eficiente.