Case study · pipeline de inferência real

MLOps Pipeline

Um pipeline de produção real, aberto estágio a estágio: separação de vozes e diarização de áudio, da normalização em DSP no laptop até o serving na nuvem. É onde a teoria da Etapa 10 encontra um sistema que roda de verdade.

Por que este estudo de caso? A Etapa 10 fala de MLOps no plano das ideias. Aqui a coisa ganha corpo num pipeline real de speaker separation: são 5 estágios (2 de DSP puro, 2 com modelos e 1 de fusão de sinal), que rodam entre o laptop e a GPU na nuvem e depois viram duas arquiteturas de produção de verdade (AWS e open source). Como todos os modelos já vêm pré-treinados, o pipeline só faz inferência: treinar aqui é um caminho opcional de fine-tuning, não o centro da história.

Fonte: github.com/richardsonlima/mlops_audio_pipeline. A documentação de cada estágio, com diagramas Mermaid e links para o código, está em docs/.
01

Visão end-to-end

MÁQUINA LOCAL · macOS M1 · CPU/MPS
→
upload input_processed.wav
GOOGLE COLAB · GPU T4+
extrair para output/separation/
MÁQUINA LOCAL · macOS M1 · CPU/MPS
→
PARALELISMO OCULTO O estágio 04 (diarização) depende só da saída do 01, não do 03, por isso --pre-colab pode rodá-lo antes do round-trip de GPU. O estágio 05 é o único que precisa dos dois ramos concluídos.
02

Os 5 estágios, por dentro

expandir tudo ↓
03

Do notebook à produção

O pipeline acima roda na mão, uma vez, num laptop com Colab. Para virar um serviço que roda sozinho e deixa rastro (imagine processar as gravações de um call-center num banco), cada passo manual precisa dar lugar a um equivalente gerenciado, seguindo o AWS Well-Architected ML Lens: checar qualidade antes de gastar compute caro, versionar e rastrear cada modelo, um portão de aprovação antes do serving e monitoramento de drift que realimenta o ciclo.

Mapeamento de serviços

Cada preocupação do pipeline → o serviço AWS que a resolve em produção.
PreocupaçãoNeste repoServiço AWSPor quê

Mapeamento de serviços

A mesma forma, 100% open source, para quem quer self-host sem lock-in de vendor.
PreocupaçãoNeste repoEquivalente OSSPor quê
04

Pipeline MLOps de referência (foco AWS)

A mesma estrutura do estudo de caso, agora num sistema de modelagem clássica em produção (fraude, churn, crédito). São nove passos que fecham o ciclo, do dado cru ao retreino automático. Clique em cada um para abrir o detalhe.

O CICLO SE FECHA O passo 9 reinicia o passo 1. Isso é o que separa ML de software tradicional: o sistema se reentrena quando o mundo muda, sem intervenção manual constante.
05

AWS Well-Architected ML Lens

Os seis pilares que o mercado usa como régua pra avaliar uma arquitetura de ML. Numa entrevista de especialista, o que realmente cobram são os trade-offs entre eles. Clique em cada pilar pra ver como ele aparece no pipeline.

Níveis de maturidade MLOps

A régua do Google Cloud. Quanto sobe o nível, mais do ciclo roda sem intervenção humana.
Manual Automatizado
06

Perguntas de entrevista MLOps

Um banco de perguntas no estilo das entrevistas sênior. Escolha um tema e clique pra revelar a resposta, mas no melhor formato de active recall: tente responder de cabeça antes de abrir.

07

Ferramentas & currículo prático

O ecossistema de MLOps garimpado (com base no awesome-mlops), organizado por tipo de problema. Logo abaixo, o roteiro mão na massa do MLOps Zoomcamp da DataTalksClub, que passa por esse toolkit na prática.

MLOps Zoomcamp, módulo a módulo

08

Lições transferíveis de MLOps