“Desconhecidos Desconhecidos”: A Fronteira da Inovação em Data Science ou um Desafio de Gestão?

A Fina Linha Entre Loucura e Genialidade: Navegando pelos "Desconhecidos Desconhecidos" em Projetos de Data Science

No universo dinâmico e desafiador da ciência de dados, frequentemente nos deparamos com situações que testam os limites do nosso conhecimento e das metodologias estabelecidas. Uma discussão recente no Reddit, intitulada "Sou eu ou meus Gerentes de Projeto que estão loucos? Desconhecidos desconhecidos", acendeu um debate crucial sobre a natureza da inovação e os desafios inerentes à gestão de projetos que buscam o verdadeiramente novo. A questão central gira em torno da viabilidade e da abordagem para desenvolver um produto capaz de detectar "desconhecidos desconhecidos" em sistemas complexos, de forma não supervisionada, com o objetivo de identificar novos problemas antes mesmo que eles se manifestem. Este artigo explora essa problemática, mergulhando nas nuances da gestão de projetos de data science, na natureza dos "desconhecidos desconhecidos" e nas implicações práticas para equipes e organizações.

Entendendo os "Desconhecidos Desconhecidos"

O termo "desconhecidos desconhecidos" (do inglês, "unknown unknowns") popularizou-se no início dos anos 2000, embora o conceito seja mais antigo, referindo-se a riscos ou situações que são impossíveis de prever porque não temos consciência de sua existência. No contexto de gerenciamento de projetos, os riscos podem ser categorizados como "conhecidos", que foram identificados e analisados, e "desconhecidos". Entre os desconhecidos, existem os "conhecidos desconhecidos" – aqueles que sabemos que existem, mas não temos clareza sobre seu impacto ou probabilidade – e os "desconhecidos desconhecidos", que estão completamente fora do nosso radar de conhecimento atual. Detectar esses últimos é, por definição, uma tarefa complexa e ambiciosa.

A discussão no Reddit revela uma tensão comum em projetos de inovação: o desejo de alcançar o disruptivo versus a necessidade de definir escopos e métricas claras. O autor do post argumenta que a tarefa de identificar "desconhecidos desconhecidos" de forma não supervisionada é mal definida e que, na realidade, o que se busca é um pipeline de aprendizado de máquina supervisionado. A resistência dos gerentes de projeto em definir uma "função de perda" no sistema, alegando que "qualquer coisa pode ser uma novidade interessante", exemplifica o cerne do desafio: como medir o sucesso quando não se sabe o que se procura?

O Dilema em Projetos de Data Science: Exploração vs. Explotação

Projetos de Data Science frequentemente navegam entre a exploração de novas possibilidades e a explotação de conhecimentos existentes. A detecção de anomalias, mencionada na discussão como a abordagem atual que gera milhares de alertas, a maioria irrelevante, ilustra bem esse dilema. Anomalias estatísticas não necessariamente se traduzem em eventos acionáveis ou de valor para o negócio. Isso levanta a questão sobre a verdadeira utilidade do aprendizado não supervisionado isoladamente para gerar valor de negócio direto, sugerindo a necessidade de uma camada supervisionada para filtrar e dar sentido aos achados.

A Análise Exploratória de Dados (AED) é uma etapa fundamental em qualquer projeto de ciência de dados. Seu objetivo é analisar e investigar conjuntos de dados para resumir suas principais características, muitas vezes utilizando métodos visuais. A AED ajuda a entender os dados, identificar padrões, anomalias e testar hipóteses iniciais. Embora a AED possa revelar "desconhecidos conhecidos" e, potencialmente, apontar para áreas onde "desconhecidos desconhecidos" possam residir, ela por si só não os identifica de forma sistemática ou preditiva no sentido que os gerentes de projeto da discussão parecem almejar.

Desafios na Colaboração entre Cientistas de Dados e Gerentes de Projeto

A comunicação e o alinhamento entre cientistas de dados e gerentes de projeto são cruciais, mas nem sempre fáceis. Cientistas de dados, imersos na complexidade técnica e nas nuances dos dados, podem perceber certas metas como irrealistas ou mal definidas. Por outro lado, gerentes de projeto, focados nos objetivos de negócio e nos prazos, podem pressionar por soluções inovadoras sem compreender totalmente as limitações técnicas ou a necessidade de um escopo bem definido. A falta de integração e colaboração eficazes, juntamente com a dificuldade de escalar modelos e a distância entre as áreas de negócio e dados, são desafios comuns na implementação de projetos de ciência de dados. Superar esses desafios requer uma cultura de colaboração e um entendimento mútuo das diferentes perspectivas e especialidades.

O Papel das Metodologias Ágeis e da Gestão de Riscos

Em projetos com alto grau de incerteza, como a busca por "desconhecidos desconhecidos", as Metodologias Ágeis podem oferecer uma estrutura mais adaptável do que abordagens tradicionais, como o modelo cascata. O Manifesto Ágil valoriza indivíduos e interações mais que processos e ferramentas, software em funcionamento mais que documentação abrangente, colaboração com o cliente mais que negociação de contratos e responder a mudanças mais que seguir um plano. Esses princípios incentivam a entrega contínua de valor, a adaptação a requisitos mutáveis e a colaboração próxima entre todas as partes interessadas.

A gestão de riscos em projetos é o processo de identificar, analisar e responder aos fatores de risco ao longo da vida de um projeto. O objetivo é maximizar a ocorrência de eventos positivos e minimizar a de eventos negativos. Para riscos "desconhecidos desconhecidos", a abordagem precisa ser diferente. Não se pode planejar para algo que não se imagina existir. Nesses casos, a ênfase recai sobre a resiliência, a capacidade de adaptação rápida quando o inesperado ocorre e a criação de processos de aprendizado contínuo (experimentação e improvisação) para dar sentido a eventos imprevistos.

Estratégias para Lidar com a Incerteza Imprevisível

Lidar com "desconhecidos desconhecidos" exige uma mudança de mentalidade, movendo-se de uma gestão de riscos puramente preditiva para uma que abrace a exploração e a aprendizagem. Algumas estratégias incluem:

• Fomentar uma cultura de curiosidade e experimentação: Incentivar as equipes a explorar dados de maneiras não convencionais e a testar hipóteses ousadas.
• Investir em Análise Exploratória de Dados robusta: Utilizar técnicas avançadas de AED para descobrir padrões ocultos e anomalias que possam indicar novos fenômenos.
• Promover a diversidade de pensamento: Reunir equipes com diferentes backgrounds e especialidades pode aumentar a chance de identificar sinais que outros poderiam ignorar.
• Desenvolver mecanismos de feedback rápido: Implementar sistemas que permitam uma rápida avaliação e iteração com base em novos achados.
• Planejamento flexível e adaptativo: Utilizar metodologias que permitam ajustes de rota conforme novas informações surgem.
• Criação de sentido coletiva (sensemaking): Envolver toda a equipe e stakeholders na interpretação de eventos inesperados para construir um entendimento compartilhado.

Conclusão: Encontrando o Equilíbrio

A ambição de detectar "desconhecidos desconhecidos" não é, em si, uma loucura. Representa a vanguarda da inovação e o desejo de antecipar problemas de forma proativa. No entanto, a abordagem para tal empreendimento precisa ser pragmática e bem fundamentada. Um projeto que busca o desconhecido sem qualquer forma de baliza ou critério de avaliação corre o risco de se tornar um exercício dispendioso e infrutífero. A discussão no Reddit evidencia a necessidade de um diálogo mais profundo entre as equipes técnicas e a gerência para alinhar expectativas, definir objetivos alcançáveis (mesmo que iterativamente) e estabelecer métricas de progresso, ainda que não convencionais.

Em vez de classificar a ideia como puramente "louca", talvez seja mais produtivo vê-la como um desafio de pesquisa e desenvolvimento que requer uma abordagem faseada. Começar com métodos de detecção de anomalias, refinar os resultados com alguma forma de supervisão ou feedback humano para identificar o que é verdadeiramente "interessante" ou "acionável", e iterativamente expandir o conhecimento do sistema pode ser um caminho mais frutífero. A chave reside em equilibrar a visão ambiciosa com uma execução metodológica sólida, reconhecendo que a jornada para descobrir os "desconhecidos desconhecidos" é, por natureza, exploratória e incerta.