Pular para o conteúdo
AI Segmentation
QGIS
Tutorial

AI Segmentation: segmentação de imagens com IA no QGIS

Publicado em Atualizado em

Mesma área, uma palavra muda:
Imagem aérea de um bairro residencial. Depois, a mesma vista com cada edificação extraída preenchida com sua própria cor. (after)
Imagem aérea de um bairro residencial. Depois, a mesma vista com cada edificação extraída preenchida com sua própria cor. (before)
AntesDepois
Arraste para comparar
155 edificações em um bairro residencial, delimitadas e coloridas, uma por objeto.
Assista ao tutorial em vídeo

AI Segmentation transforma as imagens que você já tem abertas no QGIS em camadas vetoriais limpas. Desenhe uma área, digite o objeto, e cada correspondência volta como polígonos que você pode editar e exportar. Roda nos nossos servidores, então não precisa de placa de vídeo nem de nada pesado para instalar. Nós o criamos, então este guia é sobre a nossa própria ferramenta.

Ele funciona de duas maneiras.

Automatic

Every object in a zone, at once

What it does
Draw a zone, name an object, get every instance.
Where it runs
In the cloud. Nothing heavy on your machine.
What it costs
Counts the ground it covers, shown before you start.
Use it for
Hundreds or thousands of objects over an area.

Semi-Auto

One object per click

What it does
Click an object. The AI outlines it, you save it.
Where it runs
On your computer after a one-click setup, or on ours. You pick.
What it costs
Free on your computer with no counter, and it works offline.
Use it for
Ten exact objects, or a boundary you control.

Este guia mostra o modo Automático ao vivo no QGIS e depois a revisão, em que você ajusta a camada sem pagar por uma segunda execução.

Instale e entre na sua conta

No QGIS, abra Complementos > Gerenciar e Instalar Complementos, pesquise por AI Segmentation e instale-o. O painel é aberto à direita.

Entre na sua conta pelo painel e você estará pronto. Os dois modos são gratuitos para começar: o Automático cobre uma área gratuita de terreno todos os meses, e Semi-Auto funciona na sua própria máquina sem nenhum contador.

Um seletor no topo escolhe o modo e, abaixo dele, você escolhe o raster.

Automático: sua primeira execução

Objetivo: extrair todos os contornos de edificações de um bairro residencial em uma única execução. Veja tudo de ponta a ponta, do painel vazio às detecções no mapa.

0:00 / 0:00
Uma execução, do início ao fim: escolha as imagens, desenhe a área, nomeie o objeto, detecte.

Os cinco passos por trás desse clipe, um de cada vez.

Escolha suas imagens e comece

Escolha o raster e clique em Start Automatic AI Segmentation. A camada fica bloqueada durante a execução, para que nada se mova sob você no meio do processo.

Desenhe sua área

Clique ao redor da área e feche o contorno no primeiro ponto. Qualquer formato serve: uma conta gratuita cobre 1,5 km² de terreno por mês, e o Pro cobre 200 km² sem limite para a área que você desenhar. Backspace desfaz um ponto.

Descreva o que encontrar

Uma ou duas palavras: building, tree, car. É aqui que uma primeira execução costuma dar errado, por isso a Library ao lado da caixa permite escolher entre prévias reais de antes/depois em vez de adivinhar.

Mostre como é

Uma palavra nem sempre basta. Draw on the map contorna um objeto das suas próprias imagens, e a IA procura objetos semelhantes. Até três exemplos, e dois funcionam melhor do que um.

Defina a precisão

Sua área é dividida em blocos, cada um é detectado em resolução total e depois remontado sem emendas, para que um objeto que atravesse uma junção apareça inteiro. Mais precisão significa encontrar objetos menores e contabilizar mais terreno. O painel mostra o que a execução cobre antes de você iniciá-la.

Toda a configuração cabe em uma única tela antes de você gastar qualquer parte da sua franquia. Acima dos modelos da Library ficam suas próprias execuções: Recent, com as contagens de objetos e blocos, e Favorites, para aquelas que você marcou. Reabrir uma delas restaura o texto usado.

Depois clique em Detect objects. Os blocos são enviados e os polígonos aparecem no mapa conforme retornam. Esta execução retornou 646 candidates.

A revisão: três etapas, em qualquer ordem

A detecção abre uma review, não uma camada finalizada, e a maior parte do trabalho acontece aqui. O botão verde indica a próxima etapa, mas nada obriga você a seguir essa ordem.

1Keep

Which objects survive

  • Confidence
  • Min / max size

2Correct

Fix one polygon at a time

  • Edit by AI or by hand
  • Add, merge, delete

3Shapes

How every outline looks

  • Right angles, fill holes
  • Points, trim, grow

Go back to any step, in any order. Instant, and free.

1 Keep: decida quais objetos permanecem

Cada detecção tem um score. Confidence define o limite mínimo, Size oculta tudo que estiver fora de um intervalo de área de terreno, e a linha sob o cabeçalho contabiliza o que permanece: 51 of 646 shown · 595 hidden by the filters. Tudo o que você corrigiu ou desenhou à mão permanece apesar dos dois sliders.

0:00 / 0:00
Confidence e Size, ao vivo. O mapa e o contador acompanham os sliders.

Quase tudo o que os dois sliders descartam é pequeno, tem pontuação baixa e não corresponde ao seu objeto.

2 Correct: corrija um polígono de cada vez

Clique em um polígono e ele será aberto individualmente. Nada mais na tela se move enquanto você trabalha.

Um seletor no topo escolhe como corrigi-lo. Ele mostra AI | Manual, e aqui Manual significa apenas "à mão, neste único polígono".

O método AI usa o modelo na sua máquina. Clique no ponto que ele não detectou e o contorno cresce; clique com o botão direito em uma parte que ele capturou e o contorno recua.

0:00 / 0:00
O método AI: clique no que ele não detectou, clique com o botão direito no que ele capturou, salve.

O método manual entrega a você as próprias ferramentas de vetorização do QGIS para esse polígono, com Move points, Redraw edge e Split.

0:00 / 0:00
O método manual: os cantos viram alças e as próprias ferramentas do QGIS assumem o controle.

A mesma etapa também cuida do que está faltando e do que não deveria estar ali.

  • Add a missing polygon. Aponte para um objeto que a execução não capturou e o modelo local o contornará gratuitamente. Ou desenhe os cantos você mesmo.
  • Merge with neighbours reúne uma edificação que o modelo dividiu em duas partes.
  • Delete this polygon remove um polígono indesejado.
  • Clean up this outline abre os controles de forma apenas para esse objeto. Manualmente, ele mostra Simplify this outline first e abre em Points, porque reduzir um contorno de 96 pontos é o que torna seus cantos arrastáveis.
  • Undo last e Clear all desfazem as correções.

3 Shapes: limpe todos os contornos de uma vez

A última etapa remodela toda a camada ao vivo e toca apenas nos contornos. Shape decide como um contorno é estilizado, e Outline ajusta as bordas.

0:00 / 0:00
Cada controle remodela a camada inteira de uma vez, e você vê o resultado enquanto arrasta.

São sete controles, mas raramente você toca em mais de dois em uma determinada execução.

ControleO que fazUse quando
Right anglesAjusta as paredes para 90 e 45 grausEdificações, piscinas, painéis solares
Round cornersSuaviza o contornoÁrvores, arbustos, qualquer coisa que cresça
Fill holesFecha lacunas internas até o tamanho definidoOs telhados voltam pontilhados
PointsDefine quantos pontos cada contorno mantémOs contornos parecem uma escada de pixels
SimplifyRemove pontos próximos a uma borda retaVocê quer o redutor baseado em distância mais antigo
Trim spikesRaspa partes finas e irregulares da bordaOs objetos têm pelos e filamentos
Grow / shrinkEmpurra todos os limites para fora ou para dentroA camada fica consistentemente curta ou longa

Right angles e Round corners são escolhas opostas, portanto marcar uma desativa a outra. Em edificações, Right angles é o que mais muda o resultado, e Points vem em seguida: uma máscara traçada pixel a pixel carrega um ponto a cada poucos centímetros, então reduzi-lo remove primeiro os menores detalhes e preserva os cantos.

Um último controle aparece apenas quando a execução parece cobertura do solo. Shared borders dá às formas vizinhas uma única borda exata em vez de uma lacuna fina. Entre duas edificações, essa lacuna é um dado real, portanto a opção não existe nesse caso.

Exporte e comece outra rodada

Quatro formas de ver a mesma camada. View detections as fica na parte inferior do painel durante todas as etapas. Ele muda o que você vê, nunca a geometria.

0:00 / 0:00
A mesma camada, quatro jeitos de vê-la, alternáveis em qualquer etapa da revisão.
  • Distinct, uma cor por objeto, para verificar se os vizinhos saíram separados em vez de fundidos.
  • Outline, apenas os limites, para conferi-los sobre as imagens subjacentes.
  • Confidence, sombreado pela pontuação, para que o slider Keep mostre o que você está prestes a perder.
  • Normal, uma cor limpa para a camada finalizada.
As mesmas detecções exibidas de quatro formas: Distinct, Outline, Confidence e Normal
Lado a lado: Distinct, Outline, Confidence e Normal.

Voltar e avançar é justamente o objetivo. Um polígono que você corrigiu se torna a nova base daquele polígono, e os controles de Shapes são reaplicados a ele junto com todo o resto. Repita o processo quantas vezes quiser: é instantâneo e não custa nada. O único controle que gasta sua franquia é Re-run the whole zone, para quando o texto usado estiver errado.

Depois exporte. Export polygons grava um GeoPackage estilizado, nomeado a partir do objeto e da data, contendo Label, Class, Confidence, Area (m²) e Perimeter (m). Áreas e comprimentos são expressos em metros no terreno, portanto o que você lê no arquivo coincide com o que o QGIS calcula.

A tabela de atributos do QGIS de uma camada de detecção exportada, primeiro com uma linha para cada polígono e depois como formulário de um único polígono
A camada exportada na tabela de atributos do QGIS: cada polígono em uma linha e um polígono isolado.

Semi-Auto: um objeto de cada vez

O outro modo segmenta um objeto por clique. Clique em um objeto e ele será contornado de uma só vez. O clique esquerdo adiciona o que não foi detectado, o clique direito remove o que foi capturado e, depois, você salva o contorno.

Use-o quando precisar de dez objetos exatos em vez de mil objetos aproximados, ou quando quiser controle total sobre um limite.

Dois cartões ao lado do botão Start perguntam qual IA deve responder ao clique:

  • Meu computador. O modelo é executado na sua própria máquina, portanto nada é enviado para lugar algum e não há contador. Ele é baixado uma vez, ocupa algumas centenas de MB e funciona offline depois disso.
  • IA na nuvem. O modelo maior responde no lugar dele. Não há nada para instalar, então você pode começar no primeiro clique, e ele é mais preciso. Clicar é gratuito. Um objeto da sua franquia mensal é consumido quando você o salva, e salvar o mesmo objeto novamente nunca conta duas vezes.

Você escolhe no Start, e a próxima sessão pode escolher o outro.

0:00 / 0:00
Um clique, um objeto. Rodando na sua própria máquina, não custa nada.

Como a detecção funciona

Ambos os modos recebem um prompt de texto e retornam todas as correspondências em uma única passada. Duas coisas sobre isso explicam por que este guia é assim.

Recebe uma palavra. Uma ferramenta baseada em clique recebe um clique ou uma caixa, um objeto por vez. Esta recebe texto, então building sobre uma área desenhada é um prompt válido.

Encontra todas as instâncias. Uma ferramenta baseada em clique retorna o único objeto sob o cursor. Esta retorna todos eles em uma única passada, o que transforma uma tarde de cliques em uma única execução.

O custo disso é hardware. Um modelo feito para isso não tem caminho prático em CPU, então rodá-lo você mesmo exige uma placa NVIDIA com CUDA, o que exclui todos os Macs, todas as placas AMD e todos os laptops com gráficos integrados. A próxima seção mostra o que fazemos sobre isso.

Sem GPU e sem instalação pesada

O modo Automático executa o modelo nos nossos servidores. O que o plugin instala na sua máquina é o painel e as chamadas de rede, portanto a instalação é a instalação comum de um plugin do QGIS e nada mais: sem CUDA, sem PyTorch e sem pesos do modelo no disco.

Um MacBook de 2019 e uma workstation com uma RTX 4090 obtêm o mesmo resultado na mesma velocidade, porque nenhum dos dois executa o trabalho. A contrapartida é que o modo Automático precisa de conexão, e a execução é contabilizada na sua área mensal.

Um caminho permanece na sua máquina. No Semi-Auto, o cartão Meu computador baixa um modelo menor uma vez, ocupando algumas centenas de MB, e depois responde a cada clique offline. Nada sai da máquina e nada é contabilizado. Ele é menos preciso do que o modelo na nuvem e, em um laptop lento, o primeiro clique depois do carregamento demora alguns segundos.

AutomáticoSemi-Auto, IA na nuvemSemi-Auto, Meu computador
Placa de vídeoNão é necessáriaNão é necessáriaNão é necessária
Funciona offlineNãoNãoSim
As imagens saem da sua máquinaSimSimNão
Objetos por açãoTodas as correspondências na áreaUm por cliqueUm por clique

O plano gratuito cobre 1,5 km² no modo Automático por mês. O Semi-Auto no seu próprio computador não tem limite algum.

Perguntas

Preciso de GPU para AI Segmentation no QGIS?

Não com este plugin. O modo Automático e a opção IA na nuvem no Semi-Auto rodam o modelo nos nossos servidores, então qualquer laptop funciona. Apenas a opção Meu computador no Semi-Auto usa seu próprio hardware, e roda em CPU comum. Plugins que rodam essa classe de modelo localmente precisam de uma placa NVIDIA com CUDA, pois não há caminho prático em CPU.

Qual modelo o AI Segmentation usa?

Um modelo de detecção feito para isso: aceita um prompt de texto e retorna todos os objetos correspondentes em uma única passada, que é a base do modo Automático.

Ele funciona offline?

O Semi-Auto funciona com a opção Meu computador: o modelo é baixado uma vez e todos os cliques seguintes são respondidos localmente. O modo Automático não funciona, porque o modelo que ele chama é grande demais para ser enviado a um desktop.

Qual é a precisão nas minhas imagens?

Bordas nítidas geram polígonos limpos: telhados, copas de árvores, carros, água, conjuntos de painéis. Uma borda de campo desaparecendo no mato é uma questão de julgamento, e o modelo hesita exatamente onde você hesitaria. A resolução importa mais do que o sensor, e o teste honesto é uma zona que você já conhece manualmente.

As imagens que eu uso permanecem privadas?

Com Meu computador no Semi-Auto, nada é enviado para lugar algum. O modo Automático e a IA na nuvem enviam aos nossos servidores os blocos de imagem da área que você desenhou para serem segmentados. Eles não são usados para treinar nada.

Existe uma versão gratuita?

Sim, e ela não expira. O plano gratuito cobre 1,5 km² no modo Automático por mês, além de uma franquia mensal de objetos salvos no Semi-Auto com IA na nuvem, e o Semi-Auto no seu próprio computador é ilimitado. O Pro aumenta os dois limites.

O que lembrar

A detecção abre uma revisão em vez de uma camada finalizada, e as etapas Keep, Correct e Shapes podem ser percorridas em qualquer ordem.

Tudo nessa revisão é instantâneo e gratuito, porque o único controle que gasta sua franquia novamente é Re-run the whole zone.

Rodar essa classe de modelo na sua própria máquina exige uma placa NVIDIA com CUDA. O modo Automático roda nos nossos servidores, por isso um MacBook 2019 e uma estação com RTX 4090 obtêm o mesmo resultado na mesma velocidade.

O Semi-Auto com a opção Meu computador responde a cada clique offline, não envia nada para lugar algum e não consome nenhuma franquia.

O GeoPackage exportado contém Label, Class, Confidence, Area (m²) e Perimeter (m), em metros no terreno, portanto o arquivo coincide com o que o QGIS calcula.

Teste no seu próprio mapa

O teste que importa é uma área em que você realmente trabalha. Instale o AI Segmentation, execute-o nela e compare o resultado com o que você teria vetorizado à mão. Se algo se comportar de maneira estranha, o botão ? oferece Contact us e Report a problem.