Com uma câmera em cada bolso e software de reconhecimento facial integrado em nossos smartphones e redes sociais, às vezes é fácil esquecer que tirar fotos e identificar rostos nelas nem sempre foi tão simples. Seja perdido, danificado ou simplesmente sem rótulo, o processo de identificar as pessoas em fotos antigas pode ser tedioso. Mas, como Kurt Luther, professor assistente de ciência da computação na Virginia Tech, descobriu, a experiência também pode ser bastante comovente.
Luther esteve na exposição "Guerra Civil da Pensilvânia" no Senator John Heinz History Center em Pittsburgh, em 2013, quando se deparou com uma foto de seu tio-tataravô, Oliver Croxton. Ele descreveu a foto, que era a foto de família mais antiga que ele havia visto, viajando no tempo.
Já um fã de história com interesse na Guerra Civil Americana, o momento ficou com Luther e ele começou a se perguntar como trazer a mesma experiência para milhares de outros entusiastas da história.
“Comecei a aprender mais sobre a fotografia da Guerra Civil”, diz Luther, “e sobre como identificar [pessoas] usando pistas visuais diferentes, como o uniforme, a insígnia ou as informações do estúdio do fotógrafo. Enquanto isso, eu estava fazendo muita pesquisa na área de crowdsourcing como professor de ciência da computação, e pensei que talvez houvesse uma maneira de unir essas duas coisas ”.
Luther se deparou com uma foto de seu tio-tataravô, Oliver Croxton. (Cortesia da Coleção Ken Turner) O resultado é um software on-line gratuito chamado Civil War Photo Sleuth, que usa crowdsourcing e reconhecimento facial para ajudar os usuários a identificar assuntos desconhecidos em fotografias da era da Guerra Civil. Pouco antes de seu lançamento oficial em 2018, a tecnologia ganhou o prêmio máximo de US $ 25.000 no Cloud AI Research Challenge da Microsoft pela utilização do software de reconhecimento facial da Microsoft e o Best Demo Award na conferência Human Computation and Crowdsourcing 2018. Esta semana, Luther está apresentando na conferência Intelligent User Interfaces da Association for Computing Machinery, em Los Angeles.
Projetado com a ajuda de estudantes de doutorado e de graduação da Virginia Tech, incluindo o líder do projeto, Vikram Mohanty, e em colaboração com o departamento de história da Virginia Tech, o Photo Sleuth usa uma abordagem multifacetada para sugerir as identificações mais precisas.
O primeiro passo crucial no processo foi a construção de um grande banco de dados de fotos já identificadas. Até o momento, o Photo Sleuth tem cerca de 17.000 fotos identificadas, de arquivos nacionais como o Instituto de História Militar dos EUA, além de coleções particulares, que incluem não apenas soldados da Guerra Civil, mas também civis e outros militares da época.
Lutero diz que eles tiveram a sorte de contar com o apoio de uma comunidade já entusiasmada de historiadores da guerra civil com acesso a essas fotos, porque sem uma base sólida de fotos já identificadas, seria quase impossível que o software fosse útil.
“Não é como no Field of Dreams ”, diz Luther, “Se tivéssemos lançado o site sem imagens e só esperávamos que os usuários adicionassem todos eles, enfrentaríamos o problema do cold start, onde você simplesmente não tem nenhum conteúdo. "
O banco de dados de fotos identificadas tem um papel essencial para ajudar os usuários a identificar fotos que eles mesmos enviam. Os usuários marcam manualmente traços visuais especiais, como cor da pelagem, pêlos faciais ou insígnias militares, ea foto passa por um algoritmo de reconhecimento facial para analisar e registrar proporções únicas, como a distância entre os pontos de referência faciais como o nariz e os olhos. O Photo Sleuth compara os dados visuais da foto desconhecida a fotos já identificadas no banco de dados e apresenta ao usuário as melhores correspondências com base na semelhança facial e nas informações derivadas de outros metadados, como os soldados que parecem estar no banco de dados. mesma unidade baseada na insígnia de seus uniformes. Enquanto o software toma medidas deliberadas ao longo do caminho para limitar a possibilidade de uma identificação falsa, Luther diz que no final do dia cabe ao usuário fazer a identificação final quando apresentado com os melhores palpites do software.
“Nós estávamos muito preocupados em evitar falsas identificações”, diz Luther, “porque quando você está falando sobre a internet, uma vez que você coloca alguma informação errada por aí, é muito difícil se livrar dela ou mudar”.
Para garantir que seu software fornecesse aos usuários as melhores identificações sugeridas possíveis, Luther realizou uma análise no primeiro mês do software de identificações propostas, usando métodos delineados em colunas que ele contribuiu para a revista Military Image, da revista Civil War. Avaliando as identificações de 'definitivamente não é uma correspondência', 'provavelmente não é uma correspondência', 'provavelmente uma correspondência' e 'definitivamente uma correspondência', a análise descobriu que 85% das identificações propostas eram provavelmente ou definitivamente compatíveis. Na conferência desta semana, Luther diz que pretende destacar as descobertas da pesquisa mais recente da equipe sobre Photo Sleuth, incluindo uma descoberta feita por Dave Morin, um colecionador de imagens da Guerra Civil de New Hampshire, sobre um retrato de um segundo tenente da União não identificado. . Photo Sleuth sugeriu que o homem no retrato era William H. Baldwin, do 1º New York Engineers. Morin, que confirmou que Baldwin era um nativo de New Hampshire, diz que ele nunca teria encontrado o engenheiro de estado de granito em questão sem a ajuda de Photo Sleuth.
Kurt Luther é professor assistente de ciência da computação na Virginia Tech. (Amy Loeffler) A pesquisa também enfatiza as forças complementares dos historiadores humanos e do próprio software. Apesar de seus melhores esforços, Luther diz que o software só pode ir tão longe ao identificar correspondências corretas e depende dos usuários para ajudar a identificar pistas que estão nos pontos cegos do algoritmo facial.
“[O algoritmo] é treinado para reconhecimento facial geral [na] principalmente imagens modernas”, diz Luther. “O AI tem um tempo difícil quando um rosto é virado para o lado [de perfil]. É meio que um retrato incomum para os padrões de hoje, mas em meados do século 19 era comum ”.
A equipe também descobriu que os usuários eram muito mais bem sucedidos do que o algoritmo sozinho na identificação de outros fabricantes únicos, como barbas e cicatrizes.
Patrick Lewis, historiador da guerra civil e editor-chefe de recursos acadêmicos e publicação na Sociedade Histórica de Kentucky, que não faz parte do desenvolvimento do Photo Sleuth, diz que o Photo Sleuth da Guerra Civil será uma ótima ferramenta para não apenas trazer essas histórias esquecidas. vida, mas para ajudar a continuar a construir uma rede colaborativa de historiadores da guerra civil em todo o país.
“Eu gosto de entrar e ver as novas fotos marcadas no Kentucky”, diz Lewis. “[Pergunte] quem são as pessoas que estão lá fora coletando? Seus coletores individuais devem estar cientes, e devo entrar em contato com eles para ver se eles têm algum outro material que possa ser de interesse de pesquisa? ”
Embora ainda precise se conectar com colecionadores individuais através do Photo Sleuth, Lewis diz que a própria Kentucky Historical Society trabalhou para criar registros de arquivos on-line conhecidos e que um software como o Photo Sleuth melhoraria drasticamente sua capacidade de continuar esse trabalho.
Indo adiante, Luther diz que eles estão procurando “dobrar as forças humanas” do software, incluindo a adição de uma opção “Segunda Opinião” que permitirá que vários usuários colaborem na identificação final de uma foto, bem como trabalhando na expansão do alcance físico e no gerenciamento da comunidade para aumentar a base de usuários do Photo Sleuth. O software também verá alguns face lift, incluindo uma nova função que permitirá aos usuários fazer upload e identificar pessoas em uma foto de grupo.
"Nosso objetivo final é identificar cada foto desconhecida da Guerra Civil", diz Luther, "e obter [Foto Sleuth] maior e melhor, porque 25.000 imagens é apenas uma gota no balde".
