Jak powstało Cohere - dogłębne spojrzenie na startup AI

Wprowadzenie do Cohere i jego unikalnej pozycji

Rynek dużych modeli językowych charakteryzuje się intensywną konkurencją, z OpenAI i ChatGPT na czele. W tym kontekście Cohere wyróżnia się, koncentrując na rozwiązaniach dla klientów korporacyjnych. Oferują oni konfigurowalne i bezpieczne rozwiązania AI, co stanowi ich unikalną pozycję. Założycielami firmy są Aidan Gomez, współautor przełomowej pracy "Attention is All You Need", Ivan Zhang oraz Nick Frosst. Firma pozyskała znaczące finansowanie, w tym rundę serii C o wartości 270 milionów dolarów, i jest wspierana przez czołowe firmy technologiczne i inwestorów.

Geneza pomysłu i wkład Aidana Gomeza

Początki Cohere sięgają pracy Aidana Gomeza podczas jego stażu w Google Brain. Jego udział w powstaniu pracy "Attention is All You Need" był kluczowy. Współpracował on z Łukaszem Kaiserem nad platformą do trenowania dużych sieci neuronowych. Razem z Noamem Shazeerem pracował nad alternatywami dla RNN, co zaowocowało stworzeniem modelu Transformer. Model ten zrewolucjonizował dziedzinę AI, prowadząc do rozwoju modeli takich jak BERT i GPT. Aidan dostrzegł potencjał Transformera, gdy zobaczył, jak generuje spójną historię na podstawie jednego słowa.

Od badań do przedsiębiorczości

Ivan Zhang, absolwent Uniwersytetu w Toronto, jest opisywany jako praktyk, który preferuje naukę poprzez działanie. Aidan i Ivan początkowo założyli grupę badawczą FOR.ai, zanim przeszli do bardziej formalnego startupu. Ich początkowym pomysłem było stworzenie platformy do kompresji modeli AI, jednak z powodu braku popytu na rynku, zmienili kierunek. Wraz z wydaniem GPT-2 i rosnącym znaczeniem rozmiaru modeli, Cohere skupiło się na dużych modelach językowych.

Pierwszym produktem Cohere było narzędzie do automatycznego uzupełniania tekstu, model ToC (business-to-consumer). Szybko jednak zorientowali się, że produkty konsumenckie są wyzwaniem i przeszli na model ToB (business-to-business), oferując platformę API dla klientów korporacyjnych. Misją Cohere jest udostępnienie AI wszystkim firmom, usuwając bariery w adopcji. Kluczowe cechy Cohere to konfigurowalne modele, opcje wdrożenia w wielu chmurach i na serwerach lokalnych oraz silna ochrona danych.

Talent i kultura organizacyjna

Cohere stosuje unikalne podejście do zatrudniania, poszukując osób z pasją do AI i chęcią wywarcia wpływu, niezależnie od ich wykształcenia. Firma ceni praktyczne umiejętności i doświadczenie nad osiągnięcia akademickie. W Cohere panuje kultura eksperymentowania i innowacji, z naciskiem zarówno na badania, jak i inżynierię.

Przyszłość AI według Cohere

Aidan Gomez uważa, że rynek AI nie będzie zmonopolizowany, a różne firmy znajdą swoje nisze. Wyraża także obawy dotyczące potencjalnego wykorzystania AI do manipulacji mediami społecznościowymi i dyskursem publicznym. Ivan Zhang podkreśla wyzwania związane z oceną modeli AI i zapewnieniem prywatności danych.

Zarówno Aidan, jak i Ivan widzą duży potencjał w embodied AI, czyli połączeniu AI z robotyką i systemami fizycznymi. Aidan spekuluje również na temat możliwości uczenia się AI poza ludzką wiedzą i tworzenia nowej wiedzy.

Kluczowe pojęcia wyjaśnione

• Model Transformer: Architektura sieci neuronowej, która wykorzystuje mechanizmy uwagi do przetwarzania danych sekwencyjnych, takich jak tekst.
• RNN (Recurrent Neural Network): Rodzaj sieci neuronowej, która przetwarza dane sekwencyjne, utrzymując ukryty stan, który przechowuje informacje z poprzednich wejść.
• ToC (Business-to-Consumer): Model biznesowy, w którym produkty lub usługi są sprzedawane bezpośrednio konsumentom.
• ToB (Business-to-Business): Model biznesowy, w którym produkty lub usługi są sprzedawane innym firmom.
• API (Application Programming Interface): Zbiór reguł i specyfikacji, które umożliwiają różnym aplikacjom komunikację między sobą.
• Embodied AI: Integracja AI z systemami fizycznymi, takimi jak roboty, aby umożliwić im interakcję z realnym światem.
• Multi-cloud: Korzystanie z wielu usług chmurowych od różnych dostawców.
• On-premise: Wdrożenie oprogramowania i infrastruktury na własnych serwerach firmy.
• Fine-tuning: Proces dostosowywania wstępnie wytrenowanego modelu AI do konkretnego zadania lub zbioru danych.
• Word Embedding: Technika reprezentowania słów jako wektorów numerycznych, oddających ich znaczenie semantyczne.