🤖 Segundo o AI Index Report 2024 de Stanford, as empresas de IA não costumam abrir os custos envolvidos no treinamento de seus modelos, mas acredita-se que eles estejam na casa dos milhões de dólares - o que tem tirado as universidades do jogo de pesquisa com os grandes modelos de IA.
O CEO da OpenAI, Sam Altman, chegou a dizer que o custo de treinamento do GPT-4 foi superior a 100 milhões de dólares.
O AI Index, segundo o próprio report, foi um dos primeiros a estimar esses custos em 2023 e, este ano, se uniu ao Epoch AI, instituto de pesquisa, para aprimorar as estimativas.
A equipe do Epoch analisou a duração do treinamento, tipo, quantidade e taxa de utilização de hardware de treinamento, através de informações de publicações, comunicados à imprensa ou relatórios técnicos relacionados aos modelos.
O infográfico que trouxemos aqui mostra como o custo de treinamento estimado aumentou para os principais modelos de IA nos últimos anos. Em 2017, o Transformer, que introduziu a arquitetura de base dos LLM modernos, custava cerca de 900 dólares para treinar.
O treinamento do RoBERTa Large, lançado em 2019, custou cerca de 160.000 dólares. Em 2023, os valores de treinamento para o GPT-4 da OpenAI e o Gemini Ultra do Google são estimados em cerca de 78 milhões e 191 milhões de dólares, respectivamente - custos diretamente relacionados à capacidade computacional exigida.
Fonte: extraído do AI Index Report 2024, Stanford
