Oportunidades para IA em acessibilidade – uma lista à parte

Ao ler o artigo recente de Joe Dolson sobre a interseção entre IA e acessibilidade, apreciei absolutamente o ceticismo que ele tem em relação à IA em geral, bem como às maneiras como muitos a têm usado. Na verdade, sou muito cético em relação à IA, apesar de meu papel na Microsoft como estrategista de inovação em acessibilidade que ajuda a administrar o programa de subsídios AI for Accessibility. Tal como acontece com qualquer ferramenta, a IA pode ser utilizada de formas muito construtivas, inclusivas e acessíveis; e também pode ser usado de forma destrutiva, exclusiva e prejudicial. E também há muitos usos em algum lugar no meio medíocre.

O artigo continua abaixo

Gostaria que você considerasse este um artigo do tipo “sim… e” para complementar a postagem de Joe. Não estou tentando refutar nada do que ele está dizendo, mas sim dar alguma visibilidade a projetos e oportunidades onde a IA pode fazer diferenças significativas para pessoas com deficiência. Para ser claro, não estou dizendo que não existam riscos reais ou problemas urgentes com a IA que precisem ser abordados – existem, e precisamos resolvê-los, tipo, ontem – mas quero dedicar um pouco de tempo para falar sobre o que é possível, na esperança de que um dia cheguemos lá.

O artigo de Joe passa muito tempo falando sobre modelos de visão computacional que geram texto alternativo. Ele destaca uma série de questões válidas com o estado atual das coisas. E embora os modelos de visão computacional continuem a melhorar na qualidade e riqueza de detalhes em suas descrições, seus resultados não são bons. Como ele corretamente aponta, o estado atual da análise de imagens é bastante pobre – especialmente para certos tipos de imagens – em grande parte porque os atuais sistemas de IA examinam imagens isoladamente, em vez de dentro dos contextos em que estão (o que é uma consequência de ter modelos “fundamentais” separados para análise de texto e análise de imagens). Os modelos atuais também não são treinados para distinguir entre imagens que são contextualmente relevantes (que provavelmente deveriam ter descrições) e aquelas que são puramente decorativas (que podem não precisar de descrição). Mesmo assim, ainda acho que há potencial neste espaço.

Como Joe menciona, a autoria humana de texto alternativo deveria ser absolutamente uma coisa. E se a IA puder oferecer um ponto de partida para o texto alternativo, mesmo que esse ponto de partida possa ser um aviso O que é isso? Isso não está certo… Deixe-me tentar oferecer um ponto de partida—Acho que é uma vitória.

Indo um passo adiante, se pudermos treinar especificamente um modelo para analisar o uso de imagens no contexto, isso poderá nos ajudar a identificar mais rapidamente quais imagens provavelmente serão decorativas e quais provavelmente exigirão uma descrição. Isso ajudará a reforçar quais contextos exigem descrições de imagens e melhorará a eficiência dos autores em tornar suas páginas mais acessíveis.

Embora imagens complexas – como gráficos e tabelas – sejam difíceis de descrever de forma sucinta (mesmo para humanos), o exemplo de imagem compartilhado no anúncio do GPT4 também aponta para uma oportunidade interessante. Suponhamos que você se deparou com um gráfico cuja descrição era simplesmente o título do gráfico e o tipo de visualização que ele era, como por exemplo: Gráfico de pizza comparando o uso de smartphones com o uso de telefones convencionais entre famílias nos EUA que ganham menos de US$ 30.000 por ano. (Isso seria um texto alternativo horrível para um gráfico, pois tenderia a deixar muitas perguntas sobre os dados sem resposta, mas, novamente, vamos supor que essa fosse a descrição que estava em vigor.) Se o seu navegador soubesse que aquela imagem era um gráfico de pizza (porque um modelo integrado concluiu isso), imagine um mundo onde os usuários pudessem fazer perguntas como estas sobre o gráfico:

  • Mais pessoas usam smartphones ou feature phones?
  • Quantos mais?
  • Existe um grupo de pessoas que não se enquadra em nenhum desses grupos?
  • Quantos são isso?

Deixando de lado a realidade das alucinações do modelo de linguagem grande (LLM) – onde um modelo apenas inventa “factos” que parecem plausíveis – por um momento, a oportunidade de aprender mais sobre imagens e dados desta forma poderia ser revolucionária para pessoas cegas e com visão subnormal, bem como para pessoas com várias formas de daltonismo, deficiências cognitivas, e assim por diante. Também poderia ser útil em contextos educacionais para ajudar pessoas que pode veja esses gráficos, como estão, para entender os dados nos gráficos.

Indo um passo adiante: e se você pudesse pedir ao seu navegador para simplificar um gráfico complexo? E se você pudesse pedir para isolar uma única linha em um gráfico de linhas? E se você pudesse pedir ao seu navegador para transpor as cores das diferentes linhas para funcionar melhor no seu tipo de daltonismo? E se você pudesse pedir para trocar cores por padrões? Dadas as interfaces baseadas em bate-papo dessas ferramentas e nossa capacidade existente de manipular imagens nas ferramentas de IA atuais, isso parece uma possibilidade.

Agora imagine um modelo criado especificamente para extrair as informações desse gráfico e convertê-las para outro formato. Por exemplo, talvez pudesse transformar aquele gráfico de pizza (ou melhor ainda, uma série de gráficos de pizza) em formatos mais acessíveis (e úteis), como planilhas. Isso seria incrível!

Algoritmos de correspondência#seção3

Safiya Umoja Noble acertou em cheio quando intitulou seu livro Algoritmos de Opressão. Embora o seu livro se tenha centrado nas formas como os motores de busca reforçam o racismo, penso que é igualmente verdade que todos os modelos informáticos têm o potencial de amplificar o conflito, o preconceito e a intolerância. Quer seja o Twitter sempre mostrando o último tweet de um bilionário entediado, o YouTube nos enviando para um Q-hole ou o Instagram distorcendo nossas ideias sobre a aparência dos corpos naturais, sabemos que algoritmos mal elaborados e mantidos são incrivelmente prejudiciais. Muito disso decorre da falta de diversidade entre as pessoas que os moldam e constroem. No entanto, quando essas plataformas são construídas com inclusão inclusiva, há um potencial real para o desenvolvimento de algoritmos para ajudar pessoas com deficiência.

Veja o Mentra, por exemplo. Eles são uma rede de emprego para pessoas neurodivergentes. Eles usam um algoritmo para combinar candidatos a emprego com potenciais empregadores com base em mais de 75 pontos de dados. Do lado do candidato a emprego, considera os pontos fortes de cada candidato, as acomodações necessárias e preferidas no local de trabalho, as sensibilidades ambientais e assim por diante. Do lado do empregador, considera cada ambiente de trabalho, fatores de comunicação relacionados a cada trabalho e assim por diante. Como uma empresa dirigida por pessoas neurodivergentes, a Mentra tomou a decisão de inverter o roteiro quando se tratava de locais de emprego típicos. Eles usam seu algoritmo para propor candidatos disponíveis às empresas, que podem então se conectar com candidatos a emprego nos quais estejam interessados; reduzindo o trabalho emocional e físico do lado do candidato a emprego.

Quando mais pessoas com deficiência estão envolvidas na criação de algoritmos, isso pode reduzir as hipóteses de esses algoritmos causarem danos às suas comunidades. É por isso que equipes diversas são tão importantes.

Imagine que o mecanismo de recomendação de uma empresa de mídia social foi ajustado para analisar quem você está seguindo e se foi ajustado para priorizar recomendações para pessoas que falaram sobre coisas semelhantes, mas que eram diferentes em alguns aspectos importantes da sua esfera de influência existente. Por exemplo, se você seguisse um grupo de acadêmicos brancos do sexo masculino e sem deficiência que falam sobre IA, isso poderia sugerir que você seguisse acadêmicos com deficiência ou que não fossem brancos ou não fossem do sexo masculino que também falam sobre IA. Se você seguisse suas recomendações, talvez conseguisse uma compreensão mais holística e diferenciada do que está acontecendo no campo da IA. Estes mesmos sistemas também devem utilizar a sua compreensão dos preconceitos sobre comunidades específicas – incluindo, por exemplo, a comunidade de pessoas com deficiência – para garantir que não recomendam que nenhum dos seus utilizadores siga contas que perpetuam preconceitos contra (ou, pior, vomitam ódio contra) esses grupos.

Outras maneiras pelas quais a IA pode ajudar pessoas com deficiência#seção4

Se eu não estivesse tentando juntar isso entre outras tarefas, tenho certeza de que poderia continuar, fornecendo todos os tipos de exemplos de como a IA poderia ser usada para ajudar pessoas com deficiência, mas vou transformar esta última seção em uma rodada relâmpago. Sem nenhuma ordem específica:

  • Preservação da voz. Você pode ter visto o artigo VALL-E ou o anúncio do Dia Global de Conscientização sobre Acessibilidade da Apple ou pode estar familiarizado com as ofertas de preservação de voz da Microsoft, Acapela ou outros. É possível treinar um modelo de IA para replicar sua voz, o que pode ser um benefício tremendo para pessoas que têm ELA (doença de Lou Gehrig) ou doença do neurônio motor ou outras condições médicas que podem levar à incapacidade de falar. Esta é, obviamente, a mesma tecnologia que também pode ser usada para criar deepfakes de áudio, por isso é algo que precisamos abordar com responsabilidademas a tecnologia tem um potencial verdadeiramente transformador.
  • Reconhecimento de voz. Pesquisadores como os do Projeto de Acessibilidade da Fala estão pagando pessoas com deficiência pela ajuda na coleta de gravações de pessoas com fala atípica. Enquanto digito, eles estão recrutando ativamente pessoas com Parkinson e doenças relacionadas, e têm planos de expandir isso para outras condições à medida que o projeto avança. Esta investigação resultará em conjuntos de dados mais inclusivos que permitirão que mais pessoas com deficiência utilizem assistentes de voz, software de ditado e serviços de resposta de voz, bem como controlem mais facilmente os seus computadores e outros dispositivos, utilizando apenas a voz.
  • Transformação de texto. A geração atual de LLMs é perfeitamente capaz de ajustar o conteúdo de texto existente sem injetar alucinações. Isso é extremamente fortalecedor para pessoas com deficiências cognitivas que podem se beneficiar de resumos de texto ou versões simplificadas de texto ou mesmo de texto preparado para leitura biônica.

A importância de equipes e dados diversos#seção5

Precisamos reconhecer que nossas diferenças são importantes. Nossas experiências vividas são influenciadas pelas interseções das identidades em que existimos. Essas experiências vividas — com todas as suas complexidades (e alegrias e dores) — são informações valiosas para o software, os serviços e as sociedades que moldamos. Nossas diferenças precisam ser representadas nos dados que usamos para treinar novos modelos, e as pessoas que contribuem com essas informações valiosas precisam ser compensadas por compartilhá-las conosco. Conjuntos de dados inclusivos produzem modelos mais robustos que promovem resultados mais equitativos.

Quer um modelo que não rebaixe, condescenda ou objetifique as pessoas com deficiência? Certifique-se de ter conteúdo sobre deficiências de autoria de pessoas com diversas deficiências e certifique-se de que isso esteja bem representado nos dados de treinamento.

Quer um modelo que não use linguagem capacitista? Você pode usar conjuntos de dados existentes para construir um filtro que possa interceptar e corrigir a linguagem capaz antes que ela chegue aos leitores. Dito isto, quando se trata de leitura sensível, os modelos de IA não substituirão os editores humanos tão cedo.

Quer um copiloto de codificação que forneça recomendações acessíveis desde o início? Treine-o em código que você sabe que é acessível.


Não tenho dúvidas de que a IA pode e irá prejudicar as pessoas… hoje, amanhã e no futuro. Mas também acredito que podemos reconhecer isso e, tendo em vista a acessibilidade (e, mais amplamente, a inclusão), fazer mudanças ponderadas, ponderadas e intencionais nas nossas abordagens à IA que também reduzirão os danos ao longo do tempo. Hoje, amanhã e no futuro.


Muito obrigado a Kartik Sawhney por me ajudar no desenvolvimento deste artigo, a Ashley Bischoff por sua inestimável assistência editorial e, é claro, a Joe Dolson pela sugestão.

Credit Post By: by

Leave a Comment