Comment Cohere a été construit : une plongée approfondie dans la startup d'IA

La Genèse de Cohere : Un Parcours Axé sur l'Entreprise

L'article "Comment Cohere a été construit : une plongée approfondie dans la startup d'IA" explore le parcours de Cohere, une entreprise qui a su se faire une place dans le monde très compétitif des grands modèles de langage. Contrairement à d'autres acteurs, Cohere a choisi de se concentrer sur les solutions d'entreprise. Cette stratégie, combinée à une approche particulière en matière de recrutement et de partenariats, a permis à l'entreprise de se démarquer.

Contexte et Positionnement Unique

Le texte rappelle la domination d'OpenAI et de son ChatGPT, soulignant l'intensité de la compétition dans le domaine des grands modèles de langage. Cohere, cependant, a réussi à se tailler une niche en ciblant les entreprises. Son offre se caractérise par des solutions d'IA personnalisables et sécurisées, répondant ainsi aux besoins spécifiques de cette clientèle. Les fondateurs, Aidan Gomez, co-auteur de l'article révolutionnaire "Attention is All You Need", Ivan Zhang et Nick Frosst, ont su attirer des investissements significatifs, notamment une levée de fonds de 270 millions de dollars en série C. L'entreprise bénéficie du soutien de grandes entreprises technologiques et d'investisseurs de renom.

Le Développement de Cohere : De la Recherche à l'Entrepreneuriat

L'histoire de Cohere commence avec le travail d'Aidan Gomez lors de son stage chez Google Brain. Sa participation à l'article "Attention is All You Need" a été un moment clé. Il a collaboré avec Lukasz Kaiser sur une plateforme logicielle pour l'entraînement de grands réseaux neuronaux. De plus, sa collaboration avec Noam Shazeer sur l'exploration d'alternatives aux RNN a mené à la création du modèle Transformer. Ce modèle a révolutionné le domaine de l'IA, donnant naissance à des modèles tels que BERT et GPT. Aidan a été frappé par le potentiel du modèle Transformer lorsqu'il l'a vu générer une histoire cohérente à partir d'un seul mot.

De FOR.ai à la Création de Cohere

Avant de lancer Cohere, Aidan et Ivan ont formé FOR.ai, un groupe de recherche en IA. Leur idée initiale était de créer une plateforme de compression de modèles d'IA. Cependant, face à un manque de demande sur le marché, ils ont décidé de pivoter. La sortie de GPT-2 et l'importance croissante de la taille des modèles ont incité Cohere à se concentrer sur les grands modèles de langage. Leur premier produit était un outil de saisie semi-automatique de texte, un modèle B2C. Mais, conscient des défis posés par les produits grand public, ils ont opté pour un modèle B2B, offrant une plateforme API aux entreprises. La mission de Cohere est de rendre l'IA accessible à toutes les entreprises, en éliminant les obstacles à son adoption. Les caractéristiques clés de leur offre incluent des modèles personnalisables, des options de déploiement multi-cloud et sur site, ainsi qu'une forte protection des données.

Talent et Culture d'Entreprise

Cohere adopte une approche unique en matière de recrutement, recherchant des personnes passionnées par l'IA et désireuses d'avoir un impact, quel que soit leur parcours. L'entreprise valorise l'expérience pratique et l'application concrète des connaissances plutôt que les réalisations purement académiques. Cohere encourage une culture d'expérimentation et d'innovation, en accordant une importance égale à la recherche et à l'ingénierie.

L'Avenir de l'IA selon Cohere

Aidan estime que le marché de l'IA ne sera pas monopolisé et que différentes entreprises trouveront leur propre niche. Il exprime des inquiétudes quant à l'utilisation abusive de l'IA pour manipuler les réseaux sociaux et le discours public. Ivan, quant à lui, souligne les défis liés à l'évaluation des modèles d'IA et à la protection des données. Ils entrevoient tous deux un grand potentiel dans l'IA incarnée, qui combine l'IA avec la robotique et les systèmes physiques. Aidan spécule également sur la possibilité que l'IA apprenne au-delà des connaissances humaines et crée de nouvelles connaissances.

Concepts Clés Expliqués

Modèle Transformer : Une architecture de réseau neuronal qui utilise des mécanismes d'attention pour traiter des données séquentielles, telles que le texte.
RNN (Réseau neuronal récurrent) : Un type de réseau neuronal qui traite les données séquentielles en maintenant un état caché qui capture les informations des entrées précédentes.
B2C (Business-to-Consumer) : Un modèle commercial où les produits ou services sont vendus directement aux consommateurs individuels.
B2B (Business-to-Business) : Un modèle commercial où les produits ou services sont vendus à d'autres entreprises.
API (Application Programming Interface) : Un ensemble de règles et de spécifications qui permet à différentes applications logicielles de communiquer entre elles.
IA incarnée : L'intégration de l'IA avec des systèmes physiques, tels que des robots, pour leur permettre d'interagir avec le monde réel.
Multi-cloud : L'utilisation de plusieurs services de cloud computing de différents fournisseurs.
Sur site : Le déploiement de logiciels et d'infrastructures sur les propres serveurs d'une entreprise.
Finetuning : Le processus d'adaptation d'un modèle d'IA pré-entraîné à une tâche ou un ensemble de données spécifique.
Word Embedding : Une technique de représentation des mots sous forme de vecteurs numériques, capturant leur signification sémantique.

Ce parcours de Cohere illustre comment une vision claire, une équipe talentueuse et une capacité d'adaptation peuvent transformer une idée de recherche en une entreprise innovante et influente dans le domaine de l'intelligence artificielle. La stratégie de cibler les entreprises et de se concentrer sur la personnalisation et la sécurité des solutions est un choix qui a permis à Cohere de se distinguer dans un marché en constante évolution.