Melhoria do resolvedor de captcha

[Kaoticz]

O modelo atual possui precisão de aproximadamente 58%.
Idealmente precisa subir para pelo menos 90%.

[Kaoticz]

01/04/2024 - @Isabela-Estabilee @lukawsr @yasminccs

[Isabela-Estabilee]

28/03/2024

Finalizei minha pesquisa sobre redução de ruído nas imagens. Também busquei por outros projetos de captcha solvers para usar de referência, vou fazer mais alguns testes com o OpenCV e Pillow para tentar alcançar o resultado desejado.

[Isabela-Estabilee]

28/03/2024

Parte 2 : Depois dos testes

Criei um script simples (com a ajuda de referencias externas) para processar as imagens. Usando os métodos THRESH_BINARY, THRESH_BINARY_INV, THRESH_TRUNC, THRESH_TOZERO e THRESH_TOZERO_INV fiz testes iniciais com captchas em preto e branco.

Captcha utilizado para teste:

Teste com THRESH_BINARY:

Teste com THRESH_BINARY_INV:

Teste com THRESH_TRUNC:

Teste com THRESH_TOZERO:

Teste com THRESH_TOZERO_INV:

Depois das imagens processadas optei por continuar com o método THRESH_TRUNC já que ele apresentou menos ruído.

Então comecei testes com captchas coloridos para garantir que o método funcionaria, porém não tive os mesmos resultados, as as cores frias se perderam 100% durante o processamento em alguns métodos. O único método que apresentou um resultado significativo foi o THRESH_TOZERO.

Resultado:

[Isabela-Estabilee]

30/03/2024

Lendo a documentação do OpenCV na parte de Image Thresholding, encontrei o método ADAPTIVE_THRESH_GAUSSIAN_C que trouxe bons resultados. Contudo, ainda faltam alguns ajustes nos parâmetros block_side e C.

Uma boa parte das letras teve uma redução de ruído considerável sem perder a definição das letras :

Exemplo 1

Antes :

Depois :

Exemplo 2

Antes :

Depois :

Mas alguns captchas ainda apresentaram bastante ruído independente do método ou parâmetro passado :

Exemplo 3

Antes :

Depois :

Exemplo 4

Antes :

Depois :

[Isabela-Estabilee]

31/03/2024

Fiz o PR sem deletar linhas antigas do código, apenas adicionando os parâmetros e o novo método de limiarização.

Sendo eles :

block_size = 57 

c = 20

 img_adaptive = cv2.adaptiveThreshold(gray_image, 255, cv2.ADAPTIVE_THRESH_GAUSSIAN_C, cv2.THRESH_BINARY_INV, block_size, c)

[PaPaPaulitos]

@Isabela-Estabilee como está a evolução, alguma melhoria na precisão?

[Isabela-Estabilee]

Por enquanto ainda estou empacada, vou pesquisar sobre mais alguma biblioteca pra me ajudar no tratamento na imagem e me aprofundar mais no OpenCV.

[PaPaPaulitos]

@Isabela-Estabilee se precisar de ajuda com o OpenCV chame o @alenarth