- Bits, Stocks e Blocks
- Posts
- Explicando a OpenAI
Explicando a OpenAI
#3 da Série de IA
Oi pessoal, semana passada não tivemos artigo pois estava doente. Para compensar, estamos de volta em grande estilo com o artigo mais completo do bsb até hoje!
O lançamento do ChatGPT no final do ano passado colocou o tema de Inteligência Artificial na cabeça de todos. Desde então o foco da indústria de tecnologia mudou para IA, com bilhões de dólares investidos. Este movimento foi iniciado pela OpenAI, considerada por muitos como a empresa mais importante desta década. Quer saber mais? Leia o artigo!
Importante: caso queira ouvir a versão em áudio, clique aqui
Se você tem apenas um minuto, aqui é o que você precisa saber:
IA é considerada atualmente a próxima plataforma computacional, sendo assim alvo de atenção de empresas, investidores e empreendedores
Seu CEO é um dos mais brilhantes e agressivos empreendedores do Vale do Silício e vem executando uma campanha de RP pelo mundo todo
A OpenAI nasceu como uma ONG, mas evoluiu até se tornar uma empresa com múltiplos produtos e uma parceria estratégica com a Microsoft
Existe amplo debate se seus modelos tem reais barreiras de entrada
A empresa tem diante de si pelo menos 3 grandes oportunidades: (i) Ser uma empresa de modelos de IA; (ii) Capturar parte do mercado de busca; (iii) Criar sua própria versão da App Store através de plugins
Inteligência Artificial: A Nova Plataforma Computacional
Vamos começar relembrando o que é IA: a aplicação de matemática e software para ensinar computadores a entender, sintetizar e gerar conhecimento de formas similares a como as pessoas fazem. IA é um computador como qualquer outro: ele recebe informações, consegue guardá-las em sua memória, roda instruções e gera respostas baseado nas informações e códigos.
Desculpem minha honestidade, mas a maioria das preocupações com IA simplesmente não faz sentido. Como diria Marc Andreessen, “basta usar um modelo como ChatGPT para entender que ele esta mais para um bichinho de estimação que quer te fazer feliz do que uma entidade que pode tomar o controle e te matar”. Também não acredito na visão ludista que temos que parar o desenvolvimento tecnológico pois ele vai destruir empregos. Isso nunca se provou verdadeiro e dessa vez não será diferente. O que veremos é uma transformação no mercado de trabalho. Assustador? Sim, mas mudanças sempre assustam.
IA é uma plataforma computacional diferente das que existem atualmente. Podemos fazer com IA coisas que nunca pudemos fazer com as outras. Eu sou muito otimista com IA, assim como sou com blockchain.
O surgimento de uma nova plataforma é seguido de um período de prosperidade na indústria de tecnologia:
Anos 50: surgimento do transistor e os primeiros computadores. Exemplo de empresa: IBM
Anos 70: o microprocessador deu origem ao computador pessoal. Ex: Apple
Anos 80: o software foi uma nova camada de processamento computacional. Ex: Microsoft
Anos 90-2000: o surgimento da Internet permitiu a democratização da informação. Ex: Google, Amazon, Facebook, MercadoLivre
Anos 2000-2010: o smartphone colocou um computador no bolso de todas as pessoas. Ex: Facebook, Uber, Airbnb
Anos 2010: a tecnologia de computação na nuvem democratizou o desenvolvimento de novas aplicações. Ex: Amazon Web Services, Salesforce
Fonte: Autor, inspirado por a16z
Vale ressaltar que cada vez mais são as grandes empresas que estão se aproveitando mais das novas plataformas. No caso do Smartphone, é difícil discutir que a maior parte do valor não foi capturado pelos incumbentes. A Apple não só capitaliza na venda do hardware, como cobra um pedágio a todos os aplicativos que querem acessar sua base de usuários. Do dia em que o iPhone foi lançado em 2007 até hoje, seu valor de mercado saiu de $150bi para $2.85 trilhões. No caso da Nuvem, situação semelhante. Os principais fornecedores de infraestrutura para Nuvem são empresas estabelecidas: Amazon, Microsoft, Google e Alibaba. Na frente de aplicação, temos uma situação mais dispersa, mas mesmo assim uma empresa como a Microsoft consegue ser preponderante.
Empreendedores e Investidores de tecnologia tem o fetiche de tentar identificar uma nova plataforma logo em seu início. Nos últimos anos tecnologias como Realidade Virtual, Aumentada, Blockchain dentre diversas foram identificadas como a próxima plataforma. Desde novembro de 2022, IA se tornou a “plataforma da vez”.
Por que agora? Múltiplos motivos:
Computação disponível em escala → mais quantidade
Novos chips GPUs → mais qualidade
Avanços na teoria de IA, como os Transformers e os Large Language Models → melhor organização dos recursos
A tecnologia está cada vez mais sendo feita disponível para o grande público de forma fácil, gerando atenção dos diferentes stakeholders, como no caso do ChatGPT → mais popularização
A OpenAI está no centro desse movimento, fornecendo modelos fundamentais que servem como a infraestrutura que empodera uma geração de novas aplicações tanto para consumidores como para as companhias. O melhor comparável a ela na minha opinião é a Amazon Web Services, que conseguiu aproveitar a migração de processamento para a Nuvem, foi a primeira empresa a abraçar a oportunidade, teve acesso a muito capital para financiar os altos custos de construir o ecossistema e até hoje se mantém como líder.
A OpenAI tem anos de vantagem contra os concorrentes, já investiu bilhões no desenvolvimento de seus modelos e capturou a imaginação da indústria de tecnologia, reguladores e grande público. Além disso, ela aprendeu que a melhor forma de criar valor no mundo de hoje é fazendo uma parceria com um incumbente, neste caso a Microsoft. Tudo isso sob a liderança de um dos CEOs mais agressivos que o Vale do Silício já viu...
Sam Altman
Sam Altman
Nascido em 1985, Altman começou a programar com 8 anos de idade e aos 18 foi estudar ciências da computação em Stanford. Um ano depois, em 2005, ele largou a faculdade e foi empreender, participando da primeira turma da YCombinator. Sua empresa, a Lopt, era uma rede social baseada em geolocalização que captou mais de $30m, mas não conseguiu tração o bastante. Em 2012, Altman vendeu a empresa por c.$45m e saiu com “apenas” $5m. Sobre seu patrimônio, ele apenas diz que “multiplicou em muitas e muitas vezes seu capital fazendo investimentos anjo”. Ele tirou um ano sabático estudando novas tecnologias. Este foi um ano em que muita coisa aconteceu em IA. AlexNet, avanços em reconhecimento de fala, a rede neural do Google liderada por Andrew Ng, dentre outras.
Saindo do sabático, Altman se tornou sócio da YC. Dois anos depois, ele sucedeu Paul Graham como Presidente da Incubadora. Logo que assumiu o cargo, Altman transformou sua ambição em ação. Ele expandiu o tamanho das turmas da YC, lançou um fundo de growth, uma instituição de pesquisa e direcionou a YC para investir cada vez mais em diferentes formas de tecnologia, fora de Smartphone e Nuvem, como Inteligência Artificial e Energia Nuclear.
Altman era intrigado sobre o desafio de financiar novas tecnologias. O Governo sempre foi um importante apoiador, especialmente via a DARPA, ajudando na criação da Internet, computador pessoal, GPS, drones, dentre várias outras. As grandes empresas, com seus laboratórios experimentais, também foram importantes. Para dar um exemplo, a Interface Gráfica, que Bill Gates afirmou ter sido a tecnologia mais importante que viu na carreira, foi criada nos laboratórios da Xerox. Altman se incomodava que os volumes de recursos para tecnologia batiam recordes, mas mesmo assim os VCs preferem investir no vigésimo aplicativo de fotos ao invés de colocar um centavo numa startup de fusão nuclear. O sistema de financiamento para tecnologia estava errado.
Aqui vale repetir: Sam Altman é um dos empreendedores mais ambiciosos e habilidosos do Vale do Silício. Ele sabe as principais ferramentas para gerir uma startup, “growth hacks”, é muito bem conectado e respeitado.
Além disso, ele sabe como direcionar a opinião pública, em especial a mídia e reguladores. A maior prova disso, na minha opinião, é a sua “turnê global”, que incluiu até uma visita ao Brasil. Ao falar para o mundo todo sobre os riscos de IA e “acalmar os alarmistas”, Altman consegue fazer um belo de um marketing da sua OpenAI e se colocar como ponto de contato da indústria com os reguladores.
A melhor analogia que encontrei para explicar o que ele está fazendo é uma conversa entre John Von Neumann e Robert Oppenheimer, conhecido como o “pai da Bomba Atômica”. Em uma correspondência em que Oppenheimer falava sobre os riscos da Bomba e sua responsabilidade, o gênio Von Neumann, que também participou do projeto Manhattan, respondeu “Algumas pessoas confessam culpa para assumir o crédito pelo pecado”. Qual a melhor forma de convencer as pessoas que o desenvolvimento de IA está concentrado na OpenAI? Ressaltando os riscos da IA e puxando a atenção para si.
Voltando a nossa história, se o modelo de Venture Capital não funcionava para tecnologias de ponta, era preciso de um novo modelo. Altman via em IA uma plataforma com potencial para ser maior que computação em Nuvem ou Smartphone. Certamente ele foi um visionário.
OpenAI
Em 2015 Altman anunciou a formação da OpenAI, uma organização sem fins lucrativos focada em pesquisas na área de Inteligência Artificial. Dentre os doadores iniciais estavam, além do próprio Altman, outros sócios da YC, Reid Hoffman, Peter Thiel, Elon Musk, além de empresas como a Amazon Web Services. Estes doadores fizeram um comprometimento de $1bi, a ser gasto durante vários anos. A DARPA declinou de doar recursos para a organização. Altman e Musk eram co-Chairmans.
A OpenAI conseguiu atrair alguns dos principais pesquisadores de Inteligência Artificial do mundo, seja como colaboradores, parceiros ou conselheiros. A missão era que a IA beneficiasse a humanidade, sem a necessidade de retornos financeiros. Enquanto empresas como Google pagavam salários astronômicos para os poucos profissionais experientes de IA existentes, a OpenAI tinha uma abordagem diferente, oferecendo liberdade para seus pesquisadores, sem a pressão de dar lucro. A ONG se organizou em três frentes:
Capacidade: focada em melhorar o que sistemas de IA podem fazer
Segurança: garantindo que esses sistemas estejam alinhados com valores humanos
Governança: garantindo governança e gestão apropriada para os sistemas de IA
Em 2018, Elon Musk deixou o conselho de administração da OpenAI devido a um conflito de interesses com os projetos de IA da Tesla e por discordar do direcionamento da organização.
Depois de lançada, a OpenAI começou a tentar resolver diferentes desafios. Os esforços ligados à robótica, ou seja, de intervir diretamente no mundo real, se provaram custosos e pouco eficientes. Por exemplo, a OpenAI criou uma mão robótica que conseguia resolver um cubo Rubick em questão de segundos. Em 2017, o paper “Attention Is All You Need”, escrito por pesquisadores do Google e que trazia a arquitetura dos Transformers, ajudou a direcionar a pesquisa da organização. O ano seguinte foi de amplo desenvolvimento, especialmente ao combinar modelos Transformers com metodologias de aprendizado.
A Empresa OpenAI
Em 2019 a liderança da organização reconheceu as limitações do modelo sem fins lucrativos. A OpenAI precisaria investir bilhões de dólares em computação de larga-escala, atrair os melhores talentos de IA e construir supercomputadores. Era preciso uma injeção de capitalismo.
Foi então que a ONG OpenAI criou uma empresa subsidiária, controlada pela mesma, mas que poderia captar recursos junto a investidores privados num modelo chamado “capped profit”. Neste formato, os investidores poderiam receber um múltiplo do capital que investiram, múltiplo esse de 100x na primeira rodada, mas que foi diminuindo nas rodadas subsequentes. Todos os lucros acima desses múltiplos são distribuídos para a ONG. Além disso, a ONG tem fortes direitos de governança sobre a empresa. Sam Altman também passou a se dedicar 100% a OpenAI, assumindo o cargo de CEO e deixando a YC.
Parceria com a Microsoft
IA estava no radar das “Big Techs” como Apple, Microsoft, Google, Facebook e Amazon. Por exemplo, o Google havia comprado uma das principais empresas de IA, a DeepMind, em 2014, .
Mais especificamente, a Microsoft via em IA múltiplas oportunidades:
Com diversos produtos dominantes, como Windows e Office, IA poderia melhorar estas ofertas, sendo tanto uma oportunidade, como uma defesa contra concorrentes
O consumo de poder computacional necessário para criar os modelos de IA faziam dessa atividade um importante mercado potencial para sua divisão de nuvem, a Azure
Qualquer novo produto ou serviço criado com IA poderia ser lançado usando sua ampla capacidade de distribuição
IA poderia ser a chave para um projeto que a Microsoft a anos queria desenvolver, um “assistente digital individual” de seus clientes
IA é uma arma para que a Microsoft possa ir atrás do mercado de Busca, dominado pelo Google
Com um amplo histórico de aquisições e investimentos externos – diferente da Apple que prefere desenvolver seus produtos internamente – em 2019 a Microsoft investiu $1bi na OpenAI e assinou diversos acordos de cooperação. Nos anos seguintes, de forma discreta, investiu mais $2bi na companhia. No início de 2023, com o sucesso do ChatGPT, a empresa fez seu mais ousado movimento, investindo $10bi na OpenAI, por uma participação não revelada. Rumores indicam participações de 49 a 75%.
Em paralelo com esse investimento as empresas vão trabalhar em conjunto na criação de um novo supercomputador com uma escala nunca antes vista, a OpenAI vai “injetar” IA em diversos produtos da Microsoft e por fim a Azure será a única fornecedora de serviços de Nuvem para a OpenAI.
Do ponto de vista da OpenAI, a empresa removeu o risco de financiamento, conseguiu um excelente canal de distribuição e terá na Microsoft um sócio estratégico para múltiplas iniciativas. Do ponto de vista da Microsoft, todos os pontos listados acima podem se tornar realidade.
Produtos e Modelo de Negócios
A OpenAI possui uma série de produtos e pesquisas. Dentre estes temos serviços de tradução, previsão e criação músicas, robótica e gerar códigos. No entanto, os seus dois principais são os GPTs e DALL-Es
GPT
Os “Generative Pre-trained Transformers” são modelos de treinamento de computadores construído usando a arquitetura de redes neurais. Estes modelos usam dados da Internet para gerar textos. O primeiro modelo lançado foi o GPT-2 em 2019, com 1.5 bilhões de parâmetros. O GPT-3 foi lançado de forma limitada em 2020, menos de 9 meses depois do GPT-2. O GPT-3 foi criado usando >10x mais parâmetros, 175 bilhões. Não foi barato, custando $12 milhões apenas para ser treinado, sem contar o custo para mantê-lo rodando.
Vou pular a parte mais técnica aqui, mas resumindo, o GPT-3 é pelo menos duas ordens de magnitude superior ao GPT-2. Uma das melhores funcionalidades do GPT-3 é que é possível utilizá-lo em diferentes aplicações sem ter que escrever código, gastar tempo e recursos em retreinamento ou mudando sua arquitetura. O GPT-3 foi também o primeiro produto que a OpenAI fez esforços para comercializar.
Em março/2023 a empresa lançou o GPT-4. Vou deixar a imagem abaixo explicar melhor a diferença de escala entre os dois:
O modelo de negócios da companhia é baseado em “alugar” seus modelos, que podem ser acessados via APIs por outras empresas. Os clientes pagam baseado na quantidade de “tokens” (nada a ver com crypto, ok?”, tokens são a unidade básica que o modelo produz). 1.000 tokens equivalem a cerca de 750 palavras. O preço é transparente. Clientes também podem alugar modelos mais específicos às suas necessidades. A lógica é que o cliente paga a medida que vai utilizando os modelos. Usou mais, pagou mais.
DALL-E
É um modelo baseado em Transformer que cria imagens. A primeira versão foi lançada em janeiro/2021. Este modelo foi treinado em mais de 400 milhões de pares de imagens e textos, com 12 bilhões de parâmetros do GPT-3. Em abril/2022, a OpenAI anunciou o DALL-E 2, um novo sistema de IA para criar imagens e arte realista a partir de instruções ou palavras descritivas em inglês. Os casos de uso do DALL-E 2 incluem combinar ou editar imagens existentes e criar diferentes variações de imagens existentes. A imagem abaixo foi criada baseada no seguinte input “um astronauta andando num cavalo, com estilo realista”.
Fonte: OpenAI
ChatGPT
O produto que mais rápido chegou a 1 milhão de usuários (5 dias), a faísca que fez o mundo só falar sobre IA não era exatamente um produto em D0. O “Chat Generative Pre-Trained Transformer” é um chatbot construído sobre o modelo GPT-3, na verdade ajustado de um modelo da série GPT-3.5. Esta nova geração foi treinada em uma mistura de texto e código antes do final de 2021. O ChatGPT também foi treinado usando feedback humano. Apesar de possuir uma qualidade surpreendente, o modelo tem alguns problemas. Seu tom auto confiante pode vir junto de uma resposta errada. Outro defeito é que a maneira como o pedido é feito ao ChatGTP afeta muito a resposta, de forma que hoje existem até mesmo empresas focadas em bolar “bons” pedidos.
Fonte: OpenAI
O modelo de negócios inicial do ChaGPT é freemium. Usuários podem pagar $20/mês para usar o serviço sem risco de interrupção nos horários de pico e ter respostas mais rápidas. No entanto, a empresa lançou recentemente um ecossistema de plugins que vale cobrirmos em mais detalhes:
ChatGPT como um Agregador
Os assinantes do bsb já leram sobre a Teoria da Agregação, criada por Ben Thompson. Em resumo, num mundo em que a oferta é ilimitada (caso da Internet), as empresas que conseguem agregar a demanda possuem o poder e capturam uma parte significativa do valor econômico. É o arquétipo de marketplaces como Mercado Livre e iFood, redes sociais como Instagram e o sistemas de busca como Google.
Ao chegar em 100 milhões de usuários em apenas 2 meses, a OpenAI se viu diante de uma possibilidade que ao que tudo indica nem ela mesma havia considerado num primeiro momento. O ChatGPT poderia ser um agregador.
A inércia é poderosa e vale a pergunta: por que eu, ou minha avó, vai deixar de usar os serviços atuais pelo ChatGPT? Bom, porque o ChatGPT pode vir a ser muito melhor, combinando o seu modelo com informações externas vindas de parceiros através de um programa de plugins.
Fonte: OpenAI
Vamos pegar o exemplo de uma viagem de férias:
Hoje para organizar uma viagem precisamos fazer pesquisar em múltiplos sites, pegar cotações, gerenciar um processo com múltiplas contrapartes e organizar o cronograma.
Através do ChatGPT os usuários poderão trocar essa experiência por uma ordem simples. O usuário vai digitar: “Eu quero ir com minha esposa e filho para Nova Iorque. Orçamento de $X mil. Queremos jantar fora em metade dos dias, em restaurantes que acomodam crianças. Gostamos muito de comida japonesa e mexicana. Gostamos de bairros com boas lojas para a minha esposa fazer compras. Queremos ir em todos os museus que tiveram upgrades desde que nos mudamos de volta para São Paulo em 2021. ChatGPT pode planejar a viagem e depois que eu revisar e der o ok, fazer todas as reservas?”
Enquanto a maioria dos agregadores focam em capturar a atenção do usuário, o ChatGPT será capaz de fazer ações. Isso coloca o modelo da maioria dos agregadores em cheque, até é claro, que essas empresas respondam a altura. O modelo de plugins já existe na sua versão 1.0, muitos ajustes precisam ser feitos, mas a oportunidade de construir um negócio derivado de dezenas de bilhões de dólares está na frente da OpenAI.
Cadeia de Valor da IA
De forma simples, existem três níveis que compõem o “Tech Stack” de Inteligência Artificial.
Aplicativos: integram modelos de IA em um produto voltado para o usuário, executando seus próprios pipelines de modelo (“aplicativos de ponta a ponta”) ou contando com uma API de terceiros
Modelos: alimentam produtos de IA, disponibilizados como APIs proprietárias
Infraestrutura: como plataformas de nuvem e fabricantes de hardware que executam cargas de trabalho de treinamento e inferência para modelos generativos de IA
Fonte: a16z
Atualmente só temos disponíveis nos mercados públicos as empresas de infraestrutura e estas vêm performando extremamente bem, “carregando” as bolsas americanas. A OpenAI se posiciona como uma empresa de Modelos, tendo como clientes os aplicativos que utilizam seus modelos. Se considerarmos a solução de plugins, a empresa também se classifica como uma solução end-to-end. O artigo da semana que vem será focado na cadeia de valor de IA, então considere essa sessão como um trailer da semana que vem, ou a cena pós-crédito do filme da Marvel.
O Futuro Está em Aberto
Acredito que ficou claro a minha admiração por IA. No entanto, o jogo está longe de estar ganho para a OpenAI e deixo aqui algumas reflexões finais:
A Maioria dos Modelos é Open Source
Apesar dos analistas financeiros não gostarem de compartilhar suas planilhas, no mundo da tecnologia ocorre o oposto: >90% do software que roda o mundo é código aberto/open source. A OpenAI está indo contra a corrente ao criar modelos proprietários e cobrar por seu uso.
Se a teoria por trás dos modelos é bem conhecida, os dados estão disponíveis e o poder computacional também, o que impede empresas como Google, Apple e Facebook de desenvolverem seus próprios modelos e disponibilizá-los por uma fração do custo ou de graça?
Mês passado um memorando interno do Google foi vazado na internet. Nele, pesquisadores dão uma notícia ruim e uma boa. A ruim é que o Google não tem vantagens no mundo de IA. A boa é que a OpenAI também não. No fim das contas, de acordo com os pesquisadores, o Open Source vai ganhar a competição. O memorando lista diversos desafios técnicos que foram resolvidos rapidamente nos modelos open source. No fim das contas, ninguém consegue ganhar do mundo inteiro colaborando junto.
O Google sabe operar Open Source
O grande rival da OpenAI até o presente momento me parece ser o Google. Além de mais bem financiada que a OpenAI e ter entre seus pesquisadores os próprios criadores da arquitetura Transformer, o Google tem um histórico excelente em plataformas open source, vide o Chrome e o próprio Android.
O investidor Peter Thiel tem uma frase que resume bem: “Não importa ser o primeiro a chegar ao mercado, o importante é ser o último sobrevivente”. Eu já aprendi a não subestimar o Google e acredito que a empresa será uma vencedora e não perdedora em IA.
O Custo dos Modelos pode ficar Impraticável
Devido aos custos significativos de computação e dados necessários para dar suporte a milhões de consultas diárias de usuários ativos para vários produtos, existe um risco da conta nunca fechar. Se o progresso na qualidade das GPUs não for adequado para reduzir esse custo de escala, pode ser difícil para a OpenAI criar um negócio viável.
Não paramos de falar sobre a OpenAI
A OpenAI tem anos de vantagem versus a competição. A oportunidade em IA é gigantesca, tocando diversas partes da economia. Seu ecossistema tem mais de 500 empresas. Sua parceria com a Microsoft dá acesso a capital, dados e distribuição. Sua marca se valoriza a cada dia. Com um dos melhores CEOs do Vale, agressivo e ambicioso, será interessante acompanhar os próximos passos da empresa.
A OpenAI tem diante de si pelo menos 3 grandes oportunidades:
Ser uma empresa de modelos de infraestrutura de IA
Capturar parte do mercado de busca, transformando atenção em ação
Criar sua própria App Store através dos plugins
E fica a pergunta, quantas empresas você conhece com tantas oportunidades em mercados tão grandes?
Grande abraço,
Edu
DISCLAIMER: essa newsletter não é recomendação de investimentos. Seu propósito é puramente de entretenimento e não constitui aconselhamento financeiro ou solicitação para comprar ou vender qualquer ativo. Faça a sua própria pesquisa. Todas as opiniões visões são pessoais do próprio autor e não constituem a visão institucional de nenhuma empresa da qual ele seja sócio, colaborador ou investidor.