Вы когда-нибудь задумывались, как работает ChatGPT? Краткий ответ на этот сложный вопрос заключается в больших языковых моделях или LLM, которые являются базовыми моделями, обучаемыми с использованием больших объемов текстовых данных. Эти модели не обрабатывают слова так, как это делают люди. Вместо этого они используют длинный ряд чисел, представляющих одно слово. Эти данные передаются в компьютеры в виде векторов слов.
Эти последовательности чисел известны как векторы слов, и их можно представить в виде одной точки в воображаемом пространстве, где слова, имеющие сходное значение, расположены ближе друг к другу. Масштаб каждой модели огромен, и его практически невозможно представить, но для справки, GPT4 содержит ошеломляющие 1,76 триллиона параметров с миллионами уникальных векторов слов, согласно отчету SemiAnalysis, независимой исследовательской и аналитической компании по ИИ, опубликованному 28 июня 2023 года. Обработка такого огромного количества векторов с триллионами параметров стала возможной благодаря значительному развитию вычислительных мощностей за последние несколько лет. Совсем недавно, 19 июня, Nvidia стала крупнейшей публичной компанией в мире по рыночной капитализации, обогнав Microsoft и Apple, в результате растущего спроса на их чипсеты с поддержкой искусственного интеллекта.
ChatGPT, Google Gemini и Meta AI - это LLMS, которые предсказывают следующее слово, используя векторы слов. Это предсказание выполняется путем преобразования векторов слов, которые пользователь вводит в виде "подсказок", в предсказания с помощью трансформаторов.
Как выполняется предсказание текста в LLMS?
LLM являются многослойными. Каждый слой состоит из архитектуры нейронной сети (представьте себе искусственные нейроны), известной как трансформаторы. Эти трансформаторы обрабатывают входной текст - каждый вектор слов по отдельности - и внутри каждого трансформатора слова в виде векторов просматриваются и взаимодействуют в поисках соответствующей информации. Этот процесс повторяется снова и снова, не только для одного запроса, но и для следующего раза, когда пользователь вводит запрос с похожими словами в LLMS. Это повышает эффективность поиска в будущем для лучшего предсказания "следующего слова" в последовательности.
Как проходит обучение магистров?
Магистры обучаются с использованием методов обучения без присмотра, что устраняет необходимость в маркировке данных человеком. Данные с веб-страниц, книг и других текстовых источников используются для информирования магистров перед публикацией. Это также вызвало споры, поскольку в некоторых случаях отражало человеческие предубеждения. Наиболее примечательно, что чат-бот Tay от Microsoft в Twitter, Gemini от Google и Sora (конвертер текста в видео) от OpenAI на протяжении многих лет вызывали споры из-за нетерпимых, расовых и гендерных дискриминационных ответов. К чести компании, отрасль отреагировала на этот вызов и постоянно развивается, чтобы свести на нет предвзятое отношение к людям со стороны LLM.
