Projetos de Inteligência Artificial: mensuração de valor e análise econômica

Compartilhe esse conteúdo!

Sem dúvida, a adoção de aplicações baseadas em IA por empresas e governos está em plena aceleração, com cada vez mais projetos de Inteligência Artificial deixando a fase de piloto e entrando em produção. De acordo com uma pesquisa recente da Juniper Networks com mais de 700 profissionais de grandes companhias em diversos lugares do mundo, cerca de 63% das empresas pesquisadas dizem que já percorreram a maior parte do caminho de suas metas planejadas de adoção de IA.

No entanto, há muitas dúvidas e riscos no processo. Sobretudo pelo impacto potencial dessa tecnologia nas operações e na qualidade dos serviços prestados sob a perspectiva do cliente. Por exemplo, veja o desenvolvimento de uma nova metodologia de análise para concessão de benefícios sociais ou a recomendação de rota entre dois pontos em uma cidade desconhecida.

Ambas as soluções podem, em escalas diferentes, ter repercussões críticas para os cidadãos e clientes que as utilizam. Além disso, podem trazer problemas de ordem prática. Por exemplo, disponibilidade de dados, infraestrutura de computação e mão-de-obra técnica. Também há considerações éticas muito importantes que vêm sendo analisadas e tratadas nos mais diversos fóruns. Assim, o caminho a percorrer até a institucionalização plena da IA nas organizações ainda é consideravelmente longo. 

A saber, um dos aceleradores de adoção de IA mais frequentemente citados na literatura é a economia decorrente da automação de processos. Bem como novas receitas, impulsionadas por novos produtos e até mesmo novos modelos de negócio. De acordo com uma pesquisa de 2022 feita pela Accenture, a adoção em larga escala de IA deve ajudar a aumentar a receita das empresas em cerca de 30% ao longo dos próximos quatro anos. Então, é aqui que surge uma questão desafiadora:

 

Como estimar com razoável grau de confiança o ROI (Retorno sobre o Investimento) de uma iniciativa de IA?

Segundo estudo sobre o tema, da consultoria Capgemini, apenas 27% das iniciativas de IA podem ser consideradas um sucesso pleno. Por outro lado, até 85% dos projetos de Inteligência Artificial falham em trazer o valor esperado.

A partir daí, decorrem diversas reflexões. Por exemplo,  a “altura da barra” (projetos de IA têm sido muito audaciosos no ROI?) ou sobre a qualidade das medidas (estamos medindo corretamente o ROI, capturando de modo preciso e robusto todas as vantagens econômicas das iniciativas implementadas?).

Então, é sobre esse segundo aspecto que vamos falar, traçando um panorama sobre o que a literatura e sobretudo as empresas mais à frente no processo têm feito para mensurar o valor dos seus projetos de IA.

 

 

Antes de mais nada: a definição do conceito de IA

Para que seja possível entender um fenômeno emergente, é fundamental que sejam claras as definições das suas partes constituintes. A saber, a tomada de decisão baseada na análise de grande volume de dados é uma realidade nas empresas há tempos, apesar da aceleração recente. Porém, nem toda iniciativa dessa natureza é uma solução de IA.

Assim, uma proposta de definição, em que se pese a multiplicidade delas, é a de que IA se refere ao campo de estudo da Ciência da Computação que se dedica ao desenvolvimento de sistemas capazes de realizar tarefas que normalmente exigiriam inteligência humana. Por exemplo, percepção visual, reconhecimento de fala e tomada de decisão em ambiente de incerteza. De fato, essas tarefas, tais como peças de Lego, podem ser compostas de múltiplas formas e complexidades, visando melhorar a performance das atividades nas mais diversas áreas das empresas. Aliás, essa é a razão pela qual há tamanho interesse corporativo nas iniciativas de IA e em seus desdobramentos. 

No entanto, tendo em vista que as soluções de IA em produção ainda são relativamente novas, não há metodologia homogênea na literatura para a determinação do Retorno sobre o Investimento de projetos dessa natureza. A saber, o ROI, uma das medidas mais utilizadas, compara quanto foi investido e qual foi o resultado econômico de tal investimento. A partir daí, apoia a avaliação da eficiência do projeto. Assim, algebricamente, o ROI é expresso pela relação:

ROI = (Lucro líquido/Investimento) x 100

 

O papel do ROI na mensuração de valor

Dentre muitas utilidades práticas, o ROI serve para avaliar a performance financeira dos projetos de IA. Além disso, é útil para comparar alternativas e também como suporte para validar a tese de um projeto ainda não iniciado, mas com premissas de custo bem ajustadas e objetivos de resultado financeiro factíveis. 

No entanto, é importante que se note que o ROI deve ser considerando dentro de uma abordagem sistêmica e não como um valor isolado (o que é típico para a maioria das aplicações dessa medida). Assim, nosso entendimento é que o ROI deve ser uma métrica cuidadosamente estimada e utilizada em conjunto com várias outras medidas de desempenho do projeto. Desse modo, pode-se compor uma visão ao mesmo tempo analítica e abrangente sobre a iniciativa. 

Com efeito, o Retorno dos Investimentos de projetos de Inteligência Artificial pode ser analisado a partir de duas perspectivas fundamentais de geração de valor:

• Perspectiva do Cliente

  • Qualidade percebida;
  • Agilidade na entrega dos produtos e serviços;
  • Customização das soluções;
  • Disponibilidade.

 

• Perspectiva da Organização

  • Diminuição dos custos operacionais;
  • Padronização de processos;
  • Aumento na agilidade operacional por meio da automação;
  • Descoberta de novas oportunidades de negócios.

 

 

Sem dúvida, a lista de benefícios esperados é grande e passa por dimensões importantes, tais como as citadas acima, mas não se restringem a essas. Isto é, cada setor econômico tem as suas particularidades e as dimensões mais relevantes de geração de valor dependem de muitas variáveis. Por exemplo:

• velocidade dos negócios (pense na indústria da moda, onde quase tudo muda a cada quatro meses),
• intensidade da conexão com o usuário (motoristas de aplicativos, que têm todas as viagens indicadas e monitoradas por algoritmos)
• criticidade das operações (imagine o que pode acontecer se o controle inteligente de semáforos de uma grande cidade entrar em colapso).

De fato, há uma complexidade de se estimar o ROI de projetos de Inteligência Artificial, tendo em vista que há muitas dimensões de análise. No entanto, elaboramos, com base em nossa experiência e na bibliografia sobre o tema um conjunto de regras gerais para apoiar os executivos a estimar de modo mais preciso a performance financeira das iniciativas nessa área.

 

4 Regras gerais para mensuração de valor em projetos de Inteligência Artificial

1. Especifique as necessidades dos clientes e da organização de modo preciso, definindo quais as dimensões de valor mais relevantes

De fato, cada negócio tem características e necessidades que lhe são próprias. Não só derivadas das demandas de seus clientes, mas também por conta das particularidades de suas operações e canais de distribuição. Por isso é que o desenvolvimento de soluções baseadas em aprendizado de máquina devem ser elaboradas tendo os fins desejados como ponto de partida. Afinal, cada solução é única. Assim, é pouco provável que se encontre um artefato de IA realmente valoroso na prateleira do time de TI ou do fornecedor.

Então, é tarefa do arquiteto de soluções em IA articular os aspectos de maior potencial de geração de valor para a organização. Seja sob a perspectiva de diminuição de custos ou de riscos operacionais, seja pela maximização de valor entregue aos clientes, por meio de novos e melhores produtos e serviços. Seja como for, é somente a partir do endereçamento dessas alavancas de valor que as funções-objetivo dos algoritmos serão delineadas em alto nível e implementadas pelos cientistas de dados. A partir de então, se podem definir os KPIs do projeto. 

 

2. Identifique criteriosamente os custos do projeto

A saber, os projetos de Inteligência Artificial demandam, idealmente, budget próprio para:

• captura e desenvolvimento das ideias,
• prototipação das soluções esperadas,
• testes,
• aceleração das iniciativas piloto,
• implementação dos projetos que provaram seu valor,
• monitoramento contínuo dos resultados,
• e otimização do algoritmo ao longo do tempo.

De fato, a quantidade de atividades de alto valor agregado de um projeto de IA de mediana complexidade é assustadora! Aqui na nossa experiência, essa é uma das razões pelas quais tantas empresas ainda não adotaram essa tecnologia, apesar do risco que essa posição estratégica de “esperar-para-ver” impõe.

Mas, voltando ao ponto do ROI, é fundamental que o arquiteto da solução de IA, com apoio de um especialista em Finanças Corporativas, faça um exercício detalhado e profundo de todos os custos que o projeto pode ter ao longo do tempo. Por exemplo, considerando:

• Horas-homem da equipe técnica e de apoio,
• aquisição de software e licenças,
• alocação de infraestrutura de TI,
• laboratório,
• materiais para elaboração de protótipos,
• dentre outros.

Com certeza, é um dos fatores mais importantes da determinação do ROI. Na medida em que, quanto maior for o investimento necessário, evidentemente maior deve ser o retorno do projeto, em termos nominais.

 

 

3. Faça um inventário das habilidades técnicas da equipe

Desde o desenvolvimento em si dos algoritmos, até mesmo a especificação das soluções baseadas em IA, tudo isso é mais complexo que grande parte das atividades rotineiras dos departamentos de Tecnologia. Além disso, é inegável que há significativa demanda pelo aporte de novos conhecimentos técnicos em IA nas organizações. Seja para qualificar os times, seja para trazer novos colaboradores, especialistas em competências que estavam fora do domínio do business-as-usual.

De acordo com um estudo da McKinsey cerca de 30% dos técnicos da área de TI podem precisar de novas habilidades em ciência de dados nos próximos três anos. Assim, é fundamental para a liderança da companhia criar uma cultura de autodesenvolvimento, tendo em vista a velocidade na qual esse campo do conhecimento avança.

Quando o estoque de conhecimento do time de TI na criação e implantação de modelos de aprendizado de máquina não é adequado ao tamanho do desafio, devem ser estimados com atenção os custos envolvidos na terceirização dessa atividade. Aliás, esse componente de custo é fundamental para a mensuração do ROI e deve ser projetado e alocado de forma criteriosa.

 

4. Formalize a estratégia de gestão dos ativos digitais da organização

De fato, a qualidade dos outputs dos projetos de IA é melhor na medida em que mais dados rotulados estejam disponíveis para treinar os algoritmos e otimizar as recomendações. Então, na nossa experiência, a falta de dados é um dos principais desafios no desenvolvimento de sistemas de IA. 

Certamente, a disponibilidade, acesso e qualidade de dados rotulados são fatores críticos na construção dos modelos de aprendizado de máquina. Por isso, é fundamental não se subestimar os desafios da disponibilidade de dados. Assim, obter dados durante a fase de elaboração da solução de IA é fundamental para alcançar os benefícios esperados.

 

Cuidados a serem tomados nos projetos de IA

Valoração dos custos e retornos

Sem dúvida, dos problemas típicos da estimativa do ROI de projetos inovadores é que a valoração dos custos e dos retornos não está prontamente disponível e tampouco pode ser de fácil estimativa. Na verdade, a identificação de todos os termos e, em seguida, a coleta de dados se mostra na prática um processo complexo. Por isso, é comum que as equipes de projeto façam esse trabalho de modo ad-hoc, somente quando necessário. Isto é, sem que seja condensada a experiência na forma de um processo e sem o uso de ferramentas analíticas consistentes. 

No entanto, a conversão dos dados do projeto para valores monetários é um dos temas que demanda maior cuidado do time técnico. Afinal, pode afetar frontalmente a credibilidade dos resultados. Por exemplo, veja o caso dos benefícios intangíveis que, apesar de sua natureza, têm potencial de serem extremamente valiosos:

• satisfação do cliente,
• melhoria da qualidade das condições de trabalho dos funcionários;
• incremento no valor da marca e decorrente atração de talentos;
• novas oportunidades de negócio;
• possibilidade da instituição de novos modelos de negócio, dentre outras.

 

Isolar os benefícios dos projetos de Inteligência Artificial

Outro aspecto que demanda atenção do time à frente da definição do ROI de IA é isolar os benefícios do projeto. Sobretudo, esse problema ocorre quando o projeto é concluído e os benefícios são percebidos, mas sem que se tenha garantia de tais melhorias estarem vinculadas apenas ao projeto.

Por exemplo, pense em um projeto de automação de concessão de empréstimos ao consumidor em um grande banco. Como resultado, percebe-se um aumento significativo no volume de transações após a entrada em operação do aplicativo baseado em IA. No entanto, pode haver outro fator contribuinte, tal como a queda das taxas de juros e a perspectiva de melhora das condições macroeconômicas, que estimulam o aumento nos empréstimos ao consumidor. Então, isolar os efeitos dos fatores não relacionados ao projeto é uma questão que afeta a credibilidade da avaliação do ROI.

Assim, dentre as ferramentas comumente utilizadas para enfrentar essa questão destacam-se:

• o estabelecimento de grupos de controle para acompanhamento das variáveis-chave antes, no decorrer e logo após a implantação do projeto,
• a análise de tendências e métodos econométricos de estimativa de impacto.

Seja como for, se o processo de conversão de dados não passar pelo ‘teste de credibilidade’, os dados não devem ser convertidos em valores monetários e devem ser considerados como “benefícios intangíveis”. Portanto, fora da estimativa do ROI. Assim, essa regra faz frente à crítica comum ao cálculo do ROI, em particular para projetos inovadores: a medida tem credibilidade limitada, haja vista a subjetividade dos componentes da fórmula, sobretudo dos benefícios.

 

 

Conclusões

A saber, a operacionalização da IA exige que as soluções sejam implementadas no ambiente de produção, com todos os cuidados que essa operação exige. Afinal, projetos de Inteligência Artificial são projetos de software, mas com uma camada de complexidade extra. Assim, o trabalho do arquiteto de soluções em parceria com os cientistas de dados é fundamental para que se estabeleçam a infraestrutura tecnológica e o suporte organizacional necessários para levar a solução até a ponta da produção. 

Além disso, outro aspecto central para o sucesso de iniciativas inovadoras, tal como projetos de Inteligência Artificial baseados em aprendizagem de máquina, é que seja estimado o ROI da iniciativa. Seja para facilitar a tomada de decisão de investimento, seja para informar a companhia sobre o valor que se pode esperar. Sobretudo, é importante o cuidado metodológico para determinar não somente os valores de custos, mas os benefícios indiretos do projeto. Bem como a incerteza associada à obtenção de tais benefícios.

De fato, modelos de IA, por sua própria natureza, são propensos a erros de julgamento e de predição. Assim, como resultado, é necessário que os arquitetos de soluções em IA estimem o custo de cometer (e corrigir) erros. No campo dos benefícios esperados, deve ser estabelecida uma linha de base do desempenho humano que deverá ser contrastada com o desempenho do resultado do modelo de IA em produção. Além disso, os erros devem ser precificados estatisticamente, levando em consideração a probabilidade e severidade das ocorrências fortuitas.

 

Referências

1. B. Roulstone; J. J. Phillips. ROI for Technology Projects: Measuring and Delivering Value. Woburn, MA: Butterworth-Heinemann, 2008
2. Mogollon; M. Raisinghani. Measuring ROI in E-business: A practical approach. Inf. Syst. Manage., vol. 20, no. 2, pp. 63–81, 2003
3. Bates. A critical analysis of evaluation practice: the Kirkpatrick model and the principle of beneficence.  Evaluation Program Planning, vol. 27, pp. 341–347, 2004.

Compartilhe esse conteúdo!