Recentemente, o Google lançou o Google Bard, sua resposta direta a outras inteligências artificiais generativas proeminentes, como o ChatGPT da OpenAI e o Bing Chat da Microsoft. Assim como o Bing Chat, o Google Bard possui conexão com a web, o que, teoricamente, lhe permite acessar informações atualizadas. No entanto, como uma ferramenta ainda em fase experimental, suas capacidades e confiabilidade estão sob intenso escrutínio.
Ao acessar o Google Bard pela primeira vez, o usuário é saudado com um aviso claro: "Bard é um experimento". Esta mensagem inicial já prepara o terreno para uma experiência que pode incluir imprecisões. O Google adverte que o Bard pode fornecer respostas incorretas ou inadequadas e incentiva os usuários a utilizarem o botão "Google it" para verificar as informações e a fornecerem feedback para ajudar no aprimoramento da ferramenta.
Uma das primeiras observações ao utilizar o Google Bard é a forma como ele processa e apresenta as respostas. Diferentemente do ChatGPT ou do Bing Chat, que exibem o texto sendo "digitado" em tempo real, o Bard pensa por um momento e depois apresenta todo o texto de uma vez. Embora isso possa ser uma questão de preferência de interface, a capacidade de ver o processo de pensamento da IA pode ser útil em outras plataformas.
Quando questionado sobre os benefícios de usar o Bard em detrimento do Bing Chat, a IA do Google destacou pontos como:
Curiosamente, em um dos rascunhos de resposta, o Bard chegou a mencionar que tanto ele quanto o Bing Chat são chatbots de IA capazes, mas com algumas diferenças importantes, indicando que o Bing Chat seria mais focado em conversação e em lembrar interações anteriores para fornecer respostas mais relevantes.
Uma característica interessante do Google Bard é a opção "Ver outros rascunhos". Isso permite que o usuário visualize diferentes versões da mesma resposta, o que pode ser útil para obter perspectivas variadas ou um nível de detalhe diferente sobre um mesmo tópico. Em testes, essa funcionalidade apresentou respostas distintas para a mesma pergunta, algumas até enaltecendo qualidades do concorrente, Bing Chat.
Para avaliar a precisão e o conhecimento atual do Google Bard, foram realizados diversos testes com perguntas sobre eventos recentes, figuras públicas e conhecimentos gerais. Os resultados foram mistos, revelando algumas limitações significativas.
Quando perguntado sobre vencedores de eventos esportivos recentes como o Super Bowl de 2023 ou a Copa do Mundo mais recente, o Bard conseguiu fornecer as informações corretas, citando o Kansas City Chiefs e a Argentina, respectivamente. Isso demonstra sua capacidade de acessar informações atualizadas devido à sua conexão com a web.
No entanto, ao ser questionado sobre uma figura pública específica, como "Matt Wolfe" (o apresentador do vídeo), o Google Bard afirmou não ter informações suficientes, mesmo quando a pergunta foi refinada para "Matt Wolfe, YouTuber". Isso contrasta com a expectativa de uma IA conectada à web, que deveria ser capaz de encontrar informações publicamente disponíveis sobre personalidades online.
Um ponto crítico observado foi a tendência do Bard a "alucinar" ou inventar informações. Por exemplo, ao ser perguntado sobre o Telescópio James Webb, embora tenha fornecido alguns fatos corretos, também incluiu informações imprecisas que não constavam nas fontes que ele supostamente consultaria.
Essa propensão a alucinações se estendeu a outras áreas. Quando solicitado a resumir um artigo de blog do site mattwolfe.com sobre "construção em público", o Bard forneceu um resumo que continha alguns detalhes corretos do artigo, como o nome do projeto "FutureTools", mas inventou outros, como uma data de lançamento incorreta e benefícios do projeto que não foram mencionados no texto original. Da mesma forma, ao tentar resumir um vídeo do YouTube, o Bard descreveu o conteúdo de forma completamente equivocada, referindo-se a uma ferramenta de sumarização chamada "Summarize.tech" que não tinha relação com o vídeo em questão. Ao tentar resumir um PDF sobre "Sparks of Artificial General Intelligence: Early experiments with GPT-4", o Bard novamente alucinou, mencionando repetidamente um método chamado "Prompt-based Learning" que não era o foco central do documento, nem sequer aparecia no PDF ao ser pesquisado.
Além da busca por informações, o Google Bard também foi testado em tarefas que exigem criatividade e habilidades técnicas, como a escrita de poemas, criação de receitas e programação.
Solicitado a escrever um poema sobre inteligência artificial que rimasse, o Bard produziu um texto com alguma estrutura poética, mas as rimas foram inconsistentes. Já na criação de receitas, após uma falha inicial em fornecer uma receita de strogonoff de carne (alegando ser apenas um processador de texto), uma segunda tentativa, reformulando a pergunta para "Você pode criar receitas de comida?", resultou em uma receita de cookies de chocolate, e posteriormente, uma receita de torta de maçã. Isso indica que a forma como o prompt é construído pode influenciar significativamente a capacidade do Bard de realizar a tarefa.
Quando desafiado a criar um site em HTML com CSS inline contendo uma lista de piadas, o Google Bard gerou um código HTML extremamente básico, sem qualquer CSS, resultando em uma página funcional, porém visualmente simples. Uma tentativa subsequente de solicitar que o Bard adicionasse CSS para melhorar a aparência da página resultou na resposta: "Parece que você quer minha ajuda com programação, mas ainda não fui treinado para fazer isso". Essa limitação em tarefas de programação mais elaboradas ou em refinar códigos previamente gerados é um ponto de atenção.
Com base nas primeiras impressões e testes, fica evidente que o Google Bard ainda está em uma fase muito inicial de desenvolvimento. Embora demonstre capacidade de acessar informações recentes da web e realizar tarefas básicas como responder a perguntas factuais e gerar conteúdo criativo simples, ele apresenta uma taxa considerável de alucinações e imprecisões.
Comparado ao ChatGPT, especialmente o GPT-4, e ao Bing Chat, o Bard parece estar alguns passos atrás em termos de confiabilidade, profundidade de conhecimento e consistência nas respostas. A incapacidade de resumir vídeos do YouTube ou PDFs com precisão, a dificuldade em fornecer informações sobre figuras públicas menos mainstream e as limitações na geração e estilização de código são áreas que necessitam de grande aprimoramento.
Apesar das limitações atuais, é crucial lembrar que o Google é uma potência em pesquisa e inteligência artificial. A empresa possui vastos recursos e um histórico de desenvolvimento de tecnologias de ponta. Portanto, é esperado que o Google Bard evolua rapidamente. A coleta de feedback dos usuários nesta fase experimental é fundamental para esse processo.
Enquanto o Bard pode não ser a ferramenta de IA mais impressionante no momento, seu desenvolvimento é um indicativo claro da seriedade com que o Google está encarando a competição no campo da inteligência artificial generativa. Para usuários que buscam as ferramentas de IA mais avançadas e confiáveis atualmente, o ChatGPT e o Bing Chat ainda se mostram superiores. No entanto, vale a pena acompanhar a trajetória do Google Bard, pois ele tem o potencial de se tornar um competidor de peso no futuro. Para se manter atualizado sobre as últimas ferramentas de IA, sites como o FutureTools.io podem ser um excelente recurso, curando e organizando as novidades do setor.
Exploramos as consequências das armas nucleares no espaço para a Terra e a importância de leis internacionais
Descubra como a HeyRosie, uma startup de Inteligência Artificial, está revolucionando o atendimento telefônico para pequenos negócios, oferecendo uma solução mais eficiente e acessível. Conheça os insights de Jordan Gal.
Explore os limites do ChatGPT Operator da OpenAI! Testamos sua capacidade de multitarefa, desde encontrar produtos a criar planos de negócios com IA. Veja os sucessos e desafios.