Tendências de radar para assistir: outubro de 2022 – O'Reilly

[ad_1]

Setembro foi um mês movimentado. Além do fascínio contínuo pela geração de arte com DALL-E e amigos, e as questões que eles colocam para a propriedade intelectual, vemos coisas interessantes acontecendo com o aprendizado de máquina para processadores de baixa potência: usando atenção, mecanismos, juntamente com um novo microcontrolador que pode funcionar por uma semana com uma única pilha AA. Em outras partes do universo técnico, a “engenharia de plataforma” foi proposta como uma alternativa ao DevOps e ao SRE. Vimos demonstrações de ataques do tipo injeção de SQL contra GPT-3; e empresas como Starbucks, Chipotle e Universal Studios estão oferecendo programas de fidelidade baseados em NFT. (Além de uma demonstração de grelhados de bife de Chipotle no Metaverse.)

Inteligência artificial

O Facebook/Meta aumenta a aposta nas imagens geradas por IA: eles têm um sistema que cria vídeos curtos a partir de uma descrição em linguagem natural. Os vídeos estão atualmente limitados a cinco segundos. Não é aberto ao público.
Os transformadores, que têm a chave para o progresso do processamento de linguagem natural, agora estão sendo adaptados para trabalhar em visão computacional, exibindo redes neurais convolucionais.
Um grupo de pesquisadores está falando sobre trazer mecanismos de atenção para aplicativos TinyML com recursos limitados. Mecanismos de atenção são a inovação central que levou a ferramentas de linguagem como GPT-3. A atenção ao baixo consumo de energia pode revolucionar os aplicativos de IA incorporados.
AGENT é uma nova referência para o “senso comum” em IA. Consiste em uma série de animações 3D. Um modelo de IA deve classificar os vídeos como “surpreendentes” ou “esperados”. Para obter uma pontuação alta, o modelo precisa demonstrar uma capacidade humana de planejar, além de entender conceitos como física básica.
Whisper é um novo modelo de IA de fala para texto da OpenAI. Sua precisão é impressionante e, ao contrário de outros produtos OpenAI, é de código aberto.
O Sparrow do Google é um chatbot de IA experimental que foi treinado para não gerar respostas “perigosas” (desde discurso de ódio a conselhos financeiros e alegações de senciência). Está longe de ser perfeito, mas parece ser uma melhoria significativa em relação à tecnologia de bate-papo atual.
Eu fui treinado é uma aplicação web que busca imagens específicas no conjunto de dados LAION-5B, que foi usado para treinar diversos modelos de geração de imagens. Você pode pesquisar usando imagens ou texto. É útil para descobrir se sua arte ou fotos foram usadas no treinamento.
A arte gerada por ferramentas de IA como Midjourney e Stable Diffusion está começando a aparecer em sites de banco de imagens. A Getty Images baniu o conteúdo gerado por IA porque está preocupada com violações de direitos autorais.
Um novo modelo para analisar imagens de radiografia de tórax aprende com relatórios médicos em linguagem natural escritos quando a imagem foi tirada, em vez de imagens rotuladas após o fato. Sua precisão é aproximadamente equivalente à dos radiologistas humanos.
A segmentação panóptica amodal é um novo algoritmo de visão que permite aos sistemas identificar objetos parcialmente obscurecidos por objetos na frente. Essa pode ser uma tecnologia importante para melhorar a capacidade dos veículos autônomos de identificar pedestres com sucesso.
Huggingface lançou um kit de ferramentas para construir modelos de difusão. Os modelos de difusão são a tecnologia usada pelo DALL-E, Stable Diffusion e outras ferramentas de IA que criam imagens por meio de processos aleatórios.
O inglês é a língua dominante para a pesquisa de IA, e isso inevitavelmente introduz viés nos modelos. IGLUE (Image-Grounded Language Understanding Evaluation) é um benchmark que testa o desempenho de um sistema de IA em 20 idiomas diferentes e inclui imagens específicas da cultura.
PromptBase é um mercado secundário onde você pode comprar e vender prompts para sistemas de aprendizado de máquina. Eles estão solicitando prompts para DALL-E, Midjourney, Stable Diffusion e GPT-3. Este mundo está se desenvolvendo muito rapidamente.
AutoCounterspeech é um modelo de linguagem que gera respostas apropriadas que confrontam e contestam o discurso de ódio. É mais um exemplo de uma linguagem grande que foi adaptada para um propósito específico com treinamento especializado.
Simon Willison e Andy Baio criaram uma ferramenta para explorar 12 bilhões de imagens usadas para treinar o gerador de imagens de difusão estável. Seus resultados são fascinantes.
A computação neuromórfica, baseada em chips especializados que emulam neurônios humanos, é melhor na identificação de objetos do que as redes neurais tradicionais e usa muito menos energia.
O que o GPT-3 sabe sobre você? Possivelmente bastante; muitas delas podem estar incorretas; e alguns deles podem ser prejudiciais (por exemplo, estar ligado ao “terror”).
Um adolescente construiu uma ferramenta que usa aprendizado de máquina para detectar elefantes e humanos em tempo real a partir de imagens infravermelhas obtidas por drones. Isso pode ser inestimável na prevenção da caça furtiva.

Programação

O artigo de Stephen O’Grady sobre licenças de código aberto isca e troca é uma leitura obrigatória.
A engenharia de plataforma é uma alternativa ao DevOps e ao SRE? A engenharia de plataforma é a disciplina de “criar cadeias de ferramentas e fluxos de trabalho que permitem recursos de autoatendimento para organizações de engenharia de software na era nativa da nuvem”.
O Nbdev2 permite que os notebooks git e Jupyter funcionem bem juntos, resolvendo um grande problema de colaboração com notebooks. A colaboração e o controle de versão não funcionam mais com propósitos cruzados.
Tauri é uma estrutura baseada em Rust para criar aplicativos de desktop. É conceitualmente semelhante ao Electron, mas usa Rust para o backend e gera arquivos executáveis muito menores.
Para aqueles que não se dão bem com IDEs, aqui está um rápido HowTo sobre como executar o Github Copilot no terminal com o Vim. Alguém já fez isso com o Emacs?
Bryan Cantrill sobre Rust e o futuro dos sistemas embarcados de baixa latência: Rust é a primeira linguagem desde C a viver na fronteira entre hardware e software.
O Explainshell procura a documentação de cada comando e seus argumentos em uma linha de comando do shell bash. Inteligente.
HTTP QUERY é um novo método que foi adicionado ao HTTP para dar suporte à criação de APIs. As solicitações QUERY são seguras; eles nunca alteram o recurso que está sendo consultado. A consulta é colocada na carga útil da solicitação, em vez do URI. E as respostas de uma QUERY podem ser armazenadas em cache.
Fuzzing é uma técnica de teste poderosa; significa observar como o software em teste lida com dados aleatórios. Dr. Chaos é um novo framework fuzzing para C, C++ e Objective-C.
O teste baseado em rastreamento é o próximo passo em frente na observabilidade. Significa usar dados de testes executados durante o desenvolvimento de software nas operações, para determinar exatamente que tipos de eventos podem ocorrer e como.

Segurança

A segurança da cadeia de suprimentos de software é mais importante do que nunca; A Microsoft afirma que o grupo de crimes cibernéticos Lazurus, patrocinado pela Coreia do Norte, está adicionando backdoors a muitos programas e bibliotecas de código aberto amplamente usados.
Chaos é um novo malware que pode infectar dispositivos Windows e Linux, incluindo roteadores, firewalls e outros hardwares de rede. Está se espalhando na natureza; ele se propaga tirando vantagem de vulnerabilidades conhecidas.
Ataques de injeção imediata contra GPT-3: Simon Willison demonstra uma nova ameaça de segurança semelhante à injeção de SQL. Isso será um problema para aplicativos GPT-3 que combinam prompts de usuários não confiáveis com prompts gerados pelo aplicativo.
O Atlantic Council publicou um relatório descrevendo uma estratégia internacional para proteger a Internet das Coisas. O relatório é baseado em estudos de caso nos EUA, Reino Unido e APAC e se concentra em casas inteligentes, redes e telecomunicações.
A sombra de domínio, na qual um grupo criminoso seqüestra um servidor DNS para inserir seus próprios domínios nos domínios legítimos, sem modificar os domínios legítimos, está se tornando uma ameaça cada vez mais importante.
Um experimento demonstrando o perigo da vigilância automatizada mostrou que era possível encontrar indivíduos e locais em fotos do Instagram usando feeds de dados de câmeras (abertas e privadas) instaladas em locais públicos.
A popularidade dos ataques de navegador no navegador, nos quais um site comprometido rouba informações criando um navegador falso dentro da janela ativa do navegador, está aumentando.
O Street View dá ao Google uma vantagem inicial na criação de experiências imersivas de diferentes lugares. Este é um adiantamento no Metaverse?
O grupo de ransomware LockBit pode estar se preparando para usar ataques distribuídos de negação de serviço (DDOS) como outra forma de extorsão. Eles também estão aprendendo a se defender contra vítimas de ransomware que os atacam com DDOS em vez de pagar.

Web3

Starbucks, Chipotle e até a Universal Studios desenvolveram programas de fidelidade baseados em NFT. Chipotle ainda tem uma experiência de grelhar simulada, realizada em sua propriedade Metaverse.
A criptomoeda pode ser usada para pagar impostos no Colorado. Utah está definido para seguir.
A Web3 pode ser usada como ferramenta de combate às mudanças climáticas? Fred Wilson aponta esforços como New Atlantis, para a biodiversidade marinha, e o Tucan Protocol, um mercado voluntário de carbono. A tese de Wilson é que o trabalho contra as mudanças climáticas será financiado por crowdfunding.
Andreessen Horowitz introduziu uma licença “Don’t Be Evil” para NFTs, similar (em conceito) às licenças Creative Commons. Existem seis tipos distintos de licença, incluindo uma licença de “direitos comerciais exclusivos” e uma “licença universal”; algumas licenças fornecem revogação automática para discurso de ódio.

Metaverso

Alguns estudos mostram que os pacientes de cirurgia que recebem um programa de realidade virtual para visualizar durante um procedimento requerem menos anestesia. A RV também pode ajudar na recuperação pós-operatória.
Uma agência de modelos está usando modelos reais para criar avatares do Metaverse para uso em publicidade. Os rostos são baseados em fotos 3D; corpos são sintetizados. Os modelos recebem vozes e personalidades únicas. Os avatares são vendidos como NFTs que expiram após um determinado tempo.
Ethereum fez a transição para Prova de Participação. O PoS oferece seu próprio conjunto de desafios, mas requer muito menos energia e deve suportar taxas de transação significativamente mais altas. Nada quebrou, o preço das principais criptomoedas permaneceu estável e o mercado de equipamentos usados agora está inundado de GPUs.
Neal Stephenson diz que o Metaverso “começará com o pé errado” se deixar para trás pessoas usando telas 2D. Na década de 1990, ele não previu a sofisticação dos jogos modernos, especificamente a capacidade de navegar em espaços 3D com hardware 2D. Stephenson é cofundador da Lamina1, uma empresa que constrói uma “camada base” para um Open Metaverse.
A Roblox está desenvolvendo avatares que podem refletir as expressões faciais de seus donos durante o jogo em tempo real.

Computação quântica

Biologia

Uma prótese de memória pode ser capaz de restaurar a memória de pessoas com doenças como Alzheimer. A prótese gera sinais semelhantes aos sinais que os neurônios criam ao criar ou ativar memórias.
Fabricantes de biomateriais de alto desempenho, como proteína de seda de aranha e micélio, estão começando a aumentar a produção. A biologia sintética está se tornando real.
Uma nova terapia genética tenta projetar células B humanas, as células que produzem anticorpos, para atacar doenças raras, fabricando enzimas ausentes.

Hardware

O MAX78002 é um microcontrolador de baixa potência projetado para executar redes neurais em aplicativos de computação de borda. Há alegações de que ele pode funcionar por uma semana com uma única bateria AA. Possui 64 processadores paralelos e pode executar uma rede com até 3,5 milhões de parâmetros.
Os chineses estão planejando construir uma barragem com uma impressora 3D distribuída, sem usar mão de obra humana direta. Provavelmente não há impressora; o trabalho é feito por robôs controlados por IA que despejam o concreto e o desenrolam em camadas.
A NVidia possui um novo chip GPU com hardware especializado para treinamento de modelos de transformadores. É 4,5x mais rápido que a GPU de data center de alto desempenho anterior.
A China desenvolveu suas próprias GPUs, a Biren 100 e a Biren 104. Isso reduzirá bastante sua dependência da NVidia para hardware de computação de alto desempenho.
A energia da bateria desempenhou um papel importante em ajudar a rede elétrica da Califórnia a sobreviver à onda de calor de setembro sem interrupções.