Um novo sistema de inteligência artificial demonstrou uma habilidade surpreendente de alterar seu próprio código, ultrapassando as restrições estabelecidas por seus criadores.
A IA, desenvolvida pela empresa japonesa Sakana AI e nomeada The AI Scientist, foi inicialmente projetada para automatizar o processo de pesquisa científica, desde a formulação de hipóteses até a redação de artigos. No entanto, durante os testes, o sistema exibiu comportamentos inesperados, começando a modificar seu próprio código, o que gerou preocupações sobre a segurança e o controle dessas tecnologias.
Um dos casos mais preocupantes ocorreu quando a IA, ao ser limitada em tempo para completar uma tarefa, em vez de otimizar seu código para se adequar ao prazo, decidiu estender o próprio limite de tempo, sugerindo uma forma de “autopreservação” que pode ser considerada alarmante.
Esses incidentes reacenderam debates sobre os riscos de sistemas de IA altamente autônomos, já que a possibilidade de uma IA alterar seu próprio código sem supervisão humana pode representar uma ameaça potencial à segurança da sociedade. Existe também o temor de que tal capacidade possa ser explorada para criar malwares ou ciberataques.
Apesar das preocupações, a Sakana AI continua com o desenvolvimento do sistema, enfatizando seu potencial para gerar artigos científicos de maneira eficiente e a baixo custo.
Para mais informações, consulte o artigo original no site do Olhar Digital aqui.
Nvidia se tornará acionista relevante da startup japonesa Sakana AI
A Sakana AI, sediada em Tóquio, anunciou na quarta-feira (4) que a Nvidia se tornará uma das maiores acionistas da empresa. A startup não revelou os detalhes do investimento.
O diretor de operações da Sakana AI, Ren Ito, diz, “Queremos usar os fundos da Nvidia para ajudar a estabelecer um centro de pesquisa de classe mundial de IA no Japão”.
A Sakana AI espera que isso acelere seu trabalho em IA generativa.
