token_embedding_14-800x500-1.png
Escrito por

Thiago Viola

Publicado em

26 de janeiro de 2024

Compartilhe

Olá Leitores,

Eu não tenho dúvidas que você anda vendo muita gente falando sobre Foundation Models, IA Generativa e sobre LLMs (Large Language Models), os famosos grandes modelos de linguagem. E tenho certeza de que você também faz uso dessa tecnologia – ainda que não saiba disso. Afinal de contas, de fato é uma tecnologia que está mudando a forma como fazemos negócios, e a forma como encaramos o mundo. Mas o que talvez você não veja muita gente explicando, são os conceitos básicos desta tecnologia. Ouvimos muitas vezes os termos Token e Embedding, não é?

Todo modelo generativo de linguagem possui um limite de Tokens que ele pode receber como entrada (o seu Prompt) e um limite de Tokens na saída que ele gera (a Inferência). E até mesmo o modelo de cobrança desses modelos é por Tokens. Mas você sabe o que são Tokens? E o que são Embeddings? E a diferença entre eles?

Vamos lá! Vamos descobrir!

Acesse o post do André Lopes, na pagina do Brains e saiba tudo sobre.

https://brains.dev/2024/token-e-embedding-conceitos-da-ia-e-llms/

Obrigado e abraços,


VIOLA, Thiago
Director, Artificial Intelligence GTM, Latin America
MBA AI & Cloud Computing Teacher

E-mail: thiagoviola@yahoo.com.br
LinkedIn: br.linkedin.com/in/thiagoviola
Blog: https://thiagoviola.wordpress.com/
Twitter: @ThiViola
YouTube Channel: https://www.youtube.com/user/tviola87
Slide Share: http://www.slideshare.net/ThiagoViola

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *