Se você já trabalhou com modelos de machine learning, sabe que devem ser testados vários modelos e parâmetros diferentes. Isso pode virar um caos.
Uma das principais ferramentas que veio para resolver esse problema foi o MLFlow.
Com ele, é possível gravar as principais métricas que você está usando no seu projeto e, com elas, comparar os modelos que você está testando. Essa comparação pode ser feita inclusive com gráficos, como o teste que fiz na imagem acima. Inclusive, nesse teste, não registrei apenas números, o MLflow salvou automaticamente minha matriz de confusão e a curva ROC junto com cada versão do modelo. Assim, consigo analisar visualmente onde cada algoritmo acertou ou errou, sem precisar rodar o código tudo de novo nem ficar anotando as métricas em uma planilha (já fiz muito isso).
Futuramente pretendo explorar como a ferramenta se comporta versionando LLMs, já que a versão mais recente traz um suporte específico pra GenAI.