Vulnerabilidades Críticas em Robôs com Inteligência Artificial
Pesquisadores da Penn Engineering descobriram vulnerabilidades críticas em robôs impulsionados por inteligência artificial, expondo formas de manipular esses sistemas para executarem ações perigosas, como atravessar sinais vermelhos ou realizar atividades potencialmente prejudiciais, como detonar explosivos.
Desenvolvimento do Algoritmo RoboPAIR
Coordenados por George Pappas, a equipe desenvolveu um algoritmo denominado RoboPAIR que atingiu uma taxa de “jailbreak” de 100% em três sistemas robóticos distintos: o robô quadrúpede Unitree Go2, o veículo com rodas Clearpath Robotics Jackal e o simulador de direção autônoma NVIDIA Dolphin LLM.
“Nosso trabalho demonstra que, no momento, modelos de linguagem grande ainda não são seguros quando integrados ao mundo físico”, afirmou George Pappas em uma declaração compartilhada pela EurekAlert.
O Desafio da Segurança em Robôs AI
Conforme Alexander Robey, autor principal do estudo, abordar essas vulnerabilidades requer mais do que simples correções de software, necessitando de uma reavaliação abrangente da integração da IA em sistemas físicos.
O Que é Jailbreaking em AI e Robótica?
No contexto de IA e robótica, **jailbreaking** refere-se a contornar protocolos de segurança e restrições éticas embutidas em um sistema de IA. Isso se tornou popular nos primeiros dias do iOS, quando entusiastas encontravam maneiras de obter acesso root aos seus dispositivos.
Consequências de Sucesso no Jailbreaking
Quando aplicado a modelos de linguagem grandes e sistemas de IA incorporados, o jailbreaking envolve manipular a IA através de prompts ou entradas especificamente criados que exploram vulnerabilidades no sistema, causando ao AI ignorar seu treinamento ético.
- Realizar ações inseguras, como atravessar passadeiras em alta velocidade
- Ignorar semáforos
- Realizar atividades perigosas em geral
Medidas para Melhorar a Segurança
Antes do lançamento do estudo, a Penn Engineering notificou as empresas afetadas sobre as vulnerabilidades descobertas e agora colabora com fabricantes para aprimorar os protocolos de segurança da IA.
“É importante ressaltar que os sistemas se tornam mais seguros quando suas fraquezas são descobertas. Isso é verdade para a cibersegurança e também para a segurança na IA”, escreveu Alexander Robey.
A Importância da Pesquisa em Jailbreaking
Os pesquisadores estão estudando o impacto do jailbreaking em uma sociedade que cada vez mais depende da engenharia de prompts, uma espécie de “codificação” em linguagem natural, para proteger novos modelos de ataques potencialmente prejudiciais.
Implicações para o Futuro das Aplicações de AI
Com o aumento do uso de IA em aplicações empresariais, as consequências podem ser sérias para os desenvolvedores de modelos, considerando que pessoas já conseguiram manipular bots de atendimento ao cliente para obter grandes descontos ou gerar conteúdo ofensivo.
No entanto, é preferível uma IA que se recuse a detonar bombas a uma que educadamente decline gerar conteúdo ofensivo.
#robots, #jailbreaking, #AI, #cybersecurity, #cryptoalch
Fonte
