[ccpw id="5"]

spot_img

Revolução na IA: Thought Preference Optimization da Meta

-

Inovação em Inteligência Artificial: Thought Preference Optimization da Meta

A Meta recentemente revelou um novo método de treinamento de IA que pode aprimorar a forma como as máquinas processam informações e respondem a consultas. Denominada Thought Preference Optimization (TPO), essa técnica ensina os modelos de linguagem a engajar-se em uma deliberação interna antes de fornecer respostas. Em outras palavras: eles estão “pensando”, de certa forma.

O que é a TPO?

A TPO funciona essencialmente como um botão de pausa mental para a IA, permitindo que ela considere as informações em vez de disparar a primeira resposta que vem à cabeça. O resultado? Respostas mais incisivas e nuanceadas que soam menos como um robô e mais como um ser humano reflexivo.

Comparação com Métodos Tradicionais

Essa abordagem pode aproximar a Meta de oferecer uma alternativa de código aberto a modelos proprietários como o Strawberry (também conhecido como o1) da OpenAI, conhecido por suas capacidades complexas de resolução de problemas. A metodologia da Meta difere de métodos tradicionais, como o “chain-of-thought” prompting, que força a IA a mostrar seu trabalho através de diferentes iterações. A TPO mantém as atividades mentais ocultas, permitindo que o modelo opere de forma autônoma em um único movimento.

Processo de Treinamento Inovador

O processo de treinamento é também distinto de simplesmente instruir o modelo a “pensar passo a passo”. Começando com um modelo básico voltado para seguir instruções, os pesquisadores o estimulam a gerar pensamentos internos antes de responder. Através da aprendizagem por reforço iterativa, a IA aprimora suas habilidades de pensamento, guiada por um modelo avaliador que analisa apenas a saída final—que é o que o usuário vê.

TPO Process

Essa abordagem permite que a IA desenvolva seus próprios padrões de pensamento únicos, potencialmente conduzindo a uma resolução de problemas mais criativa e adaptável. É um passo rumo a uma IA que não apenas segue regras, mas que realmente compreende a lógica por trás delas.

Inspiração na Ciência Cognitiva

A inovação da Meta inspira-se na ciência cognitiva, imitando a tendência humana de pausar e refletir antes de enfrentar perguntas complexas. Se os modelos de IA aprenderem a dedicar mais “tempo de computação” para tarefas mais difíceis, a próxima geração de modelos de código aberto pode superar amplamente os que estamos utilizando atualmente.

Aprimoramento Sem Necessidade de Novos Dados

O aspecto mais interessante é que a técnica TPO da Meta não requer montanhas de novos dados para funcionar. Ela se baseia nas arquiteturas de IA existentes, ajustando-as para simular um processo de pensamento sem a necessidade de acompanhamento humano. Isso poderia acelerar o desenvolvimento de assistentes de IA mais inteligentes, chatbots e outras ferramentas baseadas em linguagem, conferindo-lhes mais criatividade em suas abordagens de resolução de problemas.

Resultados em Comparação com Padrões da Indústria

Pesquisadores da Meta testaram sua abordagem em relação a benchmarks padrão da indústria. Os modelos treinados com TPO demonstraram suas novas habilidades cognitivas, superando seus homólogos sem esse tipo de reflexão em tarefas complexas.

Benchmarks Comparison

Avanços Contínuos e Futuro da Inteligência Artificial

A Meta tem avançado de maneira interessante na área de tornar a IA mais inteligente. Recentemente, seus pesquisadores introduziram a System 2 distillation, uma técnica que ensina grandes modelos de linguagem (LLMs) a resolver tarefas complexas sem exibir etapas desnecessárias. Essa técnica, inspirada em processos cognitivos humanos, ensina os LLMs a realizar tarefas de forma complexa sem exigir uma orientação passo a passo.

A compreensão dos sistemas de pensamento também é essencial. O pensamento System 1 é rápido, intuitivo e automático, enquanto o System 2 é deliberado e analítico. A pesquisa da Meta visa criar um modelo que intercale essas duas fases, permitindo que as IAs compreendam e atuem com mais profundidade, sem sacrificar a velocidade.

Impacto no Comunidade de IA

O momento não poderia ser mais oportuno, já que a pesquisa da Meta surge após um mês tumultuado no espaço da IA de código aberto. O modelo Reflection 70B, apresentado como uma potente ferramenta de raciocínio, originou desilusão ao não corresponder às promessas feitas, levando à insatisfação na comunidade AI. Se a abordagem da Meta for bem-sucedida, pode preparar o terreno para uma alternativa de código aberto ao modelo o1 da OpenAI, democratizando o acesso a esse tipo de raciocínio avançado.

“Reflection API” é um wrapper do sonnet 3.5. E eles estão disfarçando isso filtrando a string ‘claude’.

Conclusão

As inovações da Meta, através da TPO e do distilado do Sistema 2, representam tentativas significativas de aprimorar a capacidade de raciocínio em modelos de IA. A combinação da flexibilidade de processamento rápido com a reflexão profunda pode eventualmente levar a um futuro em que as IAs sejam mais inteligentes e mais capazes de resolver problemas complexos de maneira eficaz.

#InteligênciaArtificial, #Meta, #Inovação, #TPO, #Tecnologia, #CienciaCognitiva, #ModelosDeLinguagem, #AprendizadoDeMáquina, #IAAvançada

Fonte:https://decrypt.co/286731/meta-helping-ai-models-think

LATEST POSTS

Hong Kong Cyberport: 7 Inovações em Blockchain

Hong Kong Cyberport está liderando inovações em tecnologia blockchain e Web3.

Coinbase Deslista WBTC: Impacto no DeFi

A Coinbase vai deslistar o WBTC, afetando o mercado DeFi e introduzindo o cbBTC.

Drenos de Criptomoedas: 7 Dicas de Segurança Essenciais

Aprenda dicas para proteger suas criptomoedas de drenos e scams.

Preço do Ethereum: Análise Técnica 2024

Análise do preço do Ethereum e previsões para 2024.

Most Popular

spot_img