Prever o tempo necessário para colocar em produção um projeto de Aprendizado de Máquina (ML) pode ser complicado. 

Se existe um problema, ele provavelmente está relacionado a uma desconexão ou falta de comunicação entre a engenharia e a equipe de ciências de dados.

A colaboração entre a ciência dos dados e a engenharia é crítica para projetos ML, mas muitas vezes é um desafio.

Embora cientistas e engenheiros de dados trabalhem com código e máquinas, seus papéis, mentalidades e prioridades são diferentes. 

Os cientistas de dados extraem conhecimento e insights dos dados, enquanto os engenheiros de software constroem produtos e sistemas. 

A parte de desenvolvimento de modelos de um projeto ML é considerada a ‘fase de pesquisa’ e é onde muitos projetos ML ficam paralisados – devido a ajustes contínuos dos modelos.

Quando se trata de gerenciamento de projetos ML, pode-se separar o processo em três fases: Prova de Conceito (PoC ou PdC) ou a fase de pesquisa, a fase de Demonstração, e a fase de Engenharia. 

Neste artigo, examinamos estas diferentes fases e como podemos lidar com elas, de modo a garantir a entrega suave e oportuna dos projetos. 

As Regras

Fase PdC

Quase todos os projetos ML requerem essa fase. O PdC garante um modelo de desempenho razoável, além de garantir a viabilidade do projeto. 

Regra 1: Estabeleça um limite de tempo

Como o CDP é essencialmente um esforço de pesquisa, ele pode continuar por um tempo indeterminado por duas razões principais:  

1) Os cientistas de dados nunca são feitos em busca de um modelo melhor;

2) Os modelos ML têm uma infinidade de hiperparâmetros para ajustar e refinar. 

Portanto, é essencial definir e manter um tempo pré-determinado para completar o PdC. 

Regra 2: Delineie as Expectativas do CdP de antemão

Comece definindo claramente a saída do CdP em termos de métrica ou de um conjunto de características de comportamento. 

Então, como você estima a quantidade de tempo apropriada para desenvolver um PdC? Isto requer experiência e pode evoluir, mas pode-se utilizar, como regra geral:

→ 5 meses para problemas envolvendo técnicas de aprendizagem clássicas ou problemas envolvendo aprendizagem de transferência

→ 3 meses para problemas que envolvam técnicas de aprendizagem profunda comprovada

Fase de demonstração

Uma vez assegurada a viabilidade do projeto ML, a demonstração do trabalho é a próxima etapa. Isto também define o caminho para o Produto Mínimo Viável (MVP).

Regra 3: Demonstre o desenvolvimento do PoC a todas as partes interessadas

O envolvimento das partes interessadas tem uma série de impactos para o MVP, afetando a definição do rumo futuro do produto, ou das características suportadas, ou a redefinição da métrica ML, por exemplo.

Embora as partes interessadas sejam diferentes de projeto para projeto, geralmente elas incluem:

  1. Proprietários do produto: Pessoa(s) que definiram o produto em primeiro lugar (CTO/CEO)
  2. Equipe de Ciência de Dados: Equipe envolvida na PdC e, posteriormente, pessoa(s) que a leva à produção
  3. Equipe de Engenharia: Esta equipe ajuda a definir a viabilidade de um produto
  4. Dependentes: A maioria da equipe UI/UX que leva o produto aos usuários finais. Em alguns casos, a UI/UX pode ser combinada com a equipe de Engenharia

A qualidade da demonstração torna-se importante, pois esta é a fase de compra do projeto: quanto melhor a demonstração, maior a chance do projeto ser aprovado. 

A ciência de dados tem tudo a ver com a criação de histórias, e esta é a fase em que as histórias devem vender o produto, claramente. 

A fase de demonstração não deve durar mais do que um mês e deve ser limitada no tempo. Atrasar uma demonstração resultará em maiores chances de o PoC pousar no pátio de sucata ou ser pisoteado por projetos de maior prioridade.

Fase de engenharia

Depois que o projeto estiver aprovado, o próximo passo é levar o CDP à produção. Levar um PoC para a produção precisa ser tratado com cuidado, já que o produto subjacente às vezes se torna a cara da empresa.

Regra 4: Estabeleça claramente os requisitos

Estabelecer requisitos claros é importante, pois não só define os objetivos para a equipe de ciência de dados, mas também para toda a equipe/partes das quais o projeto ML depende. Os seguintes fatores devem ser levados em conta:

  1. Características que serão apoiadas
  2. Métricas de negócios a serem cumpridas
  3. Requisitos de engenharia e/ou UI/UX
  4. Necessidades de infra-estrutura e requisitos DevOps
  5. Alocação de orçamento

Os requisitos devem determinar se o desempenho do modelo final atende ou não às expectativas. Se não atender, ainda pode-se recorrer a um conjunto limitado de usuários para validar o recurso. 

Regra 5: Defina linhas de tempo claras

A definição de cronogramas para a equipe de ciência de dados garante que o projeto esteja sendo rastreado e levado ao fechamento dentro de um tempo estimado. Ele também define um tempo de lançamento do produto.

As linhas de tempo devem ser definidas cuidadosamente, levando em conta todas as incógnitas. Elas devem ser definidas de acordo com os dependentes, para garantir que todas as partes trabalhem em paralelo. 

Um rastreamento regular e ágil é necessário para identificar os bloqueadores com antecedência e levá-los ao fechamento – antes que eles comecem a alimentar demais o projeto.

A alocação de tempo suficiente para a verificação de qualidade e revisão de códigos é frequentemente ignorada nas linhas de tempo. 

As revisões de código garantem qualidade e cobertura de código, antes que a GQ assuma o controle. A GQ define a estabilidade do produto e, portanto, deve ser contabilizada adequadamente durante a fase de planejamento.

Os cronogramas devem incluir claramente os pontos de integração. Nos casos em que houver uma equipe de engenharia dedicada, pelo menos um engenheiro da equipe do produto deve trabalhar em conjunto com o engenheiro ML para garantir uma integração suave e mais rápida com o sistema.

A maioria dos projetos ML leva cerca de 6-8 meses para chegar à produção. 

Regra 6: Faça uma demonstração pré-lançamento com todos os Stakeholders

Uma demonstração de pré-lançamento é uma boa maneira de garantir que o produto final esteja em linha com o que foi acordado durante o início do projeto. 

Ela também garante que a equipe acomode as pequenas mudanças resultantes das observações do produto final e das discussões resultantes. 

Uma demonstração de pré-lançamento é também uma contra-verificação das métricas comerciais definidas anteriormente. 

Desta forma,  a demonstração de pré-lançamento deve ser concluída quase um mês antes do lançamento.

Regra 7: Distribua produtos por fases

A implantação deve ser concluída em fases para garantir que o feedback do usuário seja contabilizado de forma crescente, garantindo assim ainda mais a qualidade e estabilidade do produto. 

A abordagem específica por fases será diferente, dependendo do tipo de projeto ML, mas geralmente inclui:

  1. Implantação seletiva do usuário: Pré-definir os usuários para os quais o produto estará disponível. Normalmente estes são usuários internos, que são menos arriscados para o negócio e fornecerão feedback detalhado.
  2. Implementação de testes A/B: Esta fase é usada para mostrar a viabilidade da solução ML contra uma solução existente, que na maioria dos casos, seria uma abordagem heurística ou baseada em regras. O produto é exposto aos usuários finais de forma seletiva para julgar o desempenho do modelo ML.
  3. Implantação final: Nesta fase, o produto é exposto a todos os usuários e/ou a todas as organizações.

A implantação final pode levar de 2 a 6 meses, dependendo das diferentes fases de implantação envolvidas, mas com o planejamento mínimo é em torno de 2 meses. 

Resumo:

Depois de considerar todas as fases e etapas, fica claro que um projeto ML pode levar cerca de 10-12 meses desde o PoC até a produção.

Para garantir que o projeto seja entregue dentro do prazo estabelecido, comece com requisitos claros e métricas comerciais bem definidas. Também aloque tempo suficiente para QA, e elabore um cronograma de implantação faseado. 

Seguindo a estrutura acima, a probabilidade de entregar seu projeto ML dentro do prazo aumenta drasticamente. 

Published On: julho 9th, 2021 / Categories: Data Science, Dicas e Habilidades, Inteligência Artificial, Machine Learning /

Aprenda a conseguir trabalho

Se inscreva para receber acesso gratuito ao módulo Conseguindo Trabalho!

Obrigado por se inscrever!
Houve um erro ao enviar sua inscrição. Tente novamente mais tarde.

Ao acessar, você concorda em receber nossos comunicados.