Google Brain: Super-tecnologia de imagem de resolução faz "zoom, realce!" Real

O Google Brain cria novos detalhes de imagem do nada.

O Google Brain cria novos detalhes de imagem do nada.

O Google Brain criou um novo software que pode criar imagens detalhadas a partir de pequenas imagens de imagens pixelizadas. Software do Google, em suma, basicamente significa que o "zoom in, agora melhor!".

A coluna da esquerda contém imagens pixeladas de 8 × 8 e a coluna central mostra as imagens que o software do Google Brain conseguiu criar a partir dessas imagens de origem. Para comparação, as imagens reais são mostradas na coluna da direita. Como você pode ver, o software aparentemente extrai uma incrível quantidade de detalhes de apenas 64 pixels de origem.

É claro que, como todos sabemos, é impossível criar mais detalhes do que há na imagem de origem - então, como o Google Brain faz isso? Com uma inteligente combinação de duas redes neurais.

A primeira parte, o condicionamento de rede, tenta mapear a imagem da fonte de 8 × 8 contra outras imagens de alta resolução. Redimensiona outras imagens de alta resolução para 8 × 8 e tenta fazer uma correspondência.

Como funciona?

Coluna esquerda: imagem de origem. Outras colunas: várias saídas produzidas pelas redes neurais. Há um pouco de variação. Quarta celebridade do fundo é particularmente assustador.


					
					

Entrada: coluna da esquerda. Quarta coluna: a imagem original. Outras colunas: várias técnicas de super-resolução. NN = vizinho mais próximo (procurando uma imagem de alta resolução no conjunto de dados que se aproxima da imagem 8x8).


					
					

					
					

					
					

Várias técnicas de super-resolução diferentes. As três colunas mais à direita são o Google Brain método.

A segunda parte, a prévia de rede, utiliza uma implementação de PixelCNN para tentar adicionar detalhes realistas de alta resolução para a imagem de origem 8 × 8. Basicamente, a rede anterior ingests um grande número de imagens reais de alta resolução - de celebridades e quartos neste caso. Em seguida, quando a imagem de origem é escalonada, ela tenta adicionar novos pixels que correspondam ao que ele "sabe" sobre essa classe de imagem. Por exemplo, se houver um pixel marrom em direção ao topo da imagem, a rede anterior poderá identificar isso como uma sobrancelha: assim, quando a imagem for aumentada, ela poderá preencher as lacunas com uma coleção de pixels castanhos em forma de sobrancelha.

Para criar a imagem super-resolução final, as saídas das duas redes neurais são trituradas juntas. O resultado final geralmente contém a adição plausível de novos detalhes.

A técnica de super-resolução do Google Brain foi razoavelmente bem sucedida nos testes do mundo real. Quando os observadores humanos foram mostrados um rosto de celebridade de alta resolução real contra a imagem calculada upscaled, eles foram enganados 10 por cento do tempo (50 por cento seria uma pontuação perfeita). Para as imagens do quarto, 28 por cento dos seres humanos foram enganados pela imagem computada. Ambas as pontuações são muito mais impressionantes do que a escala bicúbica normal, que não enganou observadores humanos.

É importante notar que a imagem de super-resolução calculado não é real . Os detalhes adicionais - conhecidos como "alucinações" no jargão de processamento de imagens - são uma melhor suposição e nada mais. Isso levanta algumas questões intrigantes, especialmente nos domínios da vigilância e forense. Esta técnica poderia tomar uma imagem embaçada de um suspeito e adicionar mais detalhe-zoom! melhorar! Mas ele não iria realmente ser uma verdadeira foto do suspeito. Ele pode muito bem ajudar a polícia a encontrar o suspeito , porém.

Google Brain e DeepMind são dois dos braços de pesquisa de aprendizagem profunda do alfabeto. O ex publicou uma pesquisa interessante recentemente, tais como dois AIs criar seu próprio algoritmo de criptografia ; o último, é claro, foi empurrado para a ribalta no ano passado quando a sua AlphaGo AI derrotado melhores jogadores Vão do mundo.

FONTES

Free Web Hosting