Published on

Hành trình xây dựng Cohere: Phân tích sâu về Startup AI

Tác giả
  • avatar
    Tên
    Ajax
    Twitter

Sự trỗi dậy của các mô hình ngôn ngữ lớn

Bài viết bắt đầu bằng việc thừa nhận sự thống trị của OpenAI và ChatGPT, làm nổi bật sự cạnh tranh gay gắt trong lĩnh vực mô hình ngôn ngữ lớn. Cohere đã tạo dựng được vị thế riêng bằng cách tập trung vào các khách hàng doanh nghiệp, cung cấp các giải pháp AI tùy chỉnh và bảo mật.

Những người sáng lập chủ chốt

Công ty được đồng sáng lập bởi Aidan Gomez, đồng tác giả của bài báo mang tính đột phá "Attention is All You Need," cùng với Ivan Zhang và Nick Frosst. Cohere đã nhận được nguồn tài trợ đáng kể, bao gồm vòng Series C trị giá 270 triệu đô la và được hỗ trợ bởi các công ty công nghệ lớn và các nhà đầu tư.

Sự phát triển của Cohere

Nguồn gốc của ý tưởng

Sự tham gia của Aidan Gomez vào bài báo "Attention is All You Need" trong thời gian thực tập tại Google Brain là một bước ngoặt quan trọng. Anh đã làm việc với Lukasz Kaiser trên một nền tảng phần mềm để đào tạo các mạng nơ-ron lớn. Anh cũng hợp tác với Noam Shazeer để khám phá các giải pháp thay thế cho RNN. Sự hợp tác này đã dẫn đến việc tạo ra mô hình Transformer.

Tác động của mô hình Transformer

Mô hình Transformer đã cách mạng hóa lĩnh vực AI, dẫn đến sự phát triển của các mô hình như BERT và GPT. Aidan đã nhận ra tiềm năng của mô hình Transformer khi thấy nó tạo ra một câu chuyện mạch lạc từ một đầu vào duy nhất.

Từ nghiên cứu đến khởi nghiệp

Ivan Zhang, một cựu sinh viên của Đại học Toronto, được mô tả là một người sáng tạo thực tế, thích học hỏi bằng cách thực hành. Aidan và Ivan ban đầu thành lập FOR.ai, một nhóm nghiên cứu AI, trước khi mạo hiểm thành một startup chính thức. Ý tưởng ban đầu của họ là tạo ra một nền tảng để nén các mô hình AI, nhưng họ đã chuyển hướng do thiếu nhu cầu thị trường.

Sự chuyển hướng sang mô hình ngôn ngữ lớn

Việc phát hành GPT-2 và tầm quan trọng ngày càng tăng của kích thước mô hình đã khiến Cohere tập trung vào các mô hình ngôn ngữ lớn. Sản phẩm đầu tiên của Cohere là một công cụ tự động hoàn thành văn bản, là mô hình ToC (doanh nghiệp đến người tiêu dùng).

Chuyển sang ToB

Họ nhận ra những thách thức của các sản phẩm tiêu dùng và chuyển sang mô hình ToB (doanh nghiệp đến doanh nghiệp), cung cấp một nền tảng API cho các khách hàng doanh nghiệp. Mục tiêu của Cohere là làm cho AI có thể tiếp cận được với tất cả các doanh nghiệp, loại bỏ các rào cản đối với việc ứng dụng.

Các tính năng chính

Cohere cung cấp các mô hình tùy chỉnh, các tùy chọn triển khai đa đám mây và tại chỗ, và bảo mật dữ liệu mạnh mẽ.

Nhân tài và văn hóa

Cách tiếp cận tuyển dụng độc đáo

Cohere tìm kiếm những cá nhân có đam mê với AI và mong muốn tạo ra tác động, bất kể nền tảng của họ. Họ coi trọng kinh nghiệm thực tế và ứng dụng thực tiễn hơn là chỉ thành tích học tập thuần túy.

Văn hóa khám phá

Cohere nuôi dưỡng một văn hóa thử nghiệm và đổi mới, tập trung vào cả nghiên cứu và kỹ thuật.

Tương lai của AI

Quan điểm của Aidan về cạnh tranh

Aidan tin rằng thị trường AI sẽ không bị độc quyền và các công ty khác nhau sẽ tìm thấy những ngách riêng của mình. Anh cũng bày tỏ lo ngại về khả năng AI bị sử dụng để thao túng mạng xã hội và diễn ngôn công khai.

Thách thức trong việc ứng dụng AI

Ivan nhấn mạnh những thách thức trong việc đánh giá các mô hình AI và đảm bảo quyền riêng tư dữ liệu.

Tiềm năng của AI thể hiện

Cả Aidan và Ivan đều thấy tiềm năng lớn trong AI thể hiện, kết hợp AI với robot và các hệ thống vật lý. Aidan suy đoán về khả năng AI học hỏi vượt ra ngoài kiến thức của con người và tạo ra kiến thức mới.

Các khái niệm chính được giải thích

  • Mô hình Transformer: Một kiến trúc mạng nơ-ron sử dụng cơ chế attention để xử lý dữ liệu tuần tự, chẳng hạn như văn bản.
  • RNN (Mạng nơ-ron hồi quy): Một loại mạng nơ-ron xử lý dữ liệu tuần tự bằng cách duy trì trạng thái ẩn nắm bắt thông tin từ các đầu vào trước đó.
  • ToC (Doanh nghiệp đến người tiêu dùng): Một mô hình kinh doanh trong đó sản phẩm hoặc dịch vụ được bán trực tiếp cho người tiêu dùng cá nhân.
  • ToB (Doanh nghiệp đến doanh nghiệp): Một mô hình kinh doanh trong đó sản phẩm hoặc dịch vụ được bán cho các doanh nghiệp khác.
  • API (Giao diện lập trình ứng dụng): Một tập hợp các quy tắc và thông số kỹ thuật cho phép các ứng dụng phần mềm khác nhau giao tiếp với nhau.
  • AI thể hiện: Sự tích hợp của AI với các hệ thống vật lý, chẳng hạn như robot, để cho phép chúng tương tác với thế giới thực.
  • Đa đám mây: Việc sử dụng nhiều dịch vụ điện toán đám mây từ các nhà cung cấp khác nhau.
  • Tại chỗ: Việc triển khai phần mềm và cơ sở hạ tầng trên máy chủ riêng của công ty.
  • Tinh chỉnh: Quá trình điều chỉnh một mô hình AI được đào tạo trước cho một tác vụ hoặc tập dữ liệu cụ thể.
  • Nhúng từ: Một kỹ thuật để biểu diễn các từ dưới dạng vectơ số, nắm bắt ý nghĩa ngữ nghĩa của chúng.