Ресурсы
Дополнительная информация об IBM Watson Studio Desktop и примерах использования продукта
Ресурсы
Начало работы
Практическое занятие
Машинное и глубокое обучение — это просто! Вам не понадобится писать ни одной строки кода.
Обзор продукта
Изучите инструменты в автономном режиме: IBM® Projects, IBM Data Refinery, IBM SPSS® Modeler и другие.
Ознакомительное видео
Подготовка данных, визуализация результатов и создание моделей с помощью SPSS Modeler в IBM Watson Studio Desktop.
Демонстрация распознавания образов
Узнайте, как в IBM Watson Studio создать проект для использования услуги распознавания образов на основе Watson.
Блоги экспертов
Знакомство с версией 2.0
Узнайте новости об этом превосходном клиент-серверном решении.
Обзор новых функций
Узнайте о новейших функциях, появившихся в IBM Watson Studio Desktop.
IBM Watson Machine Learning Server
Эта облегченная версия 1.0 с одним узлом позволяет развертывать аналитические средства и освобождать вычислительные ресурсы.
Документация по продукту и другие ресурсы
Документация по продукту
Посмотрите обзор последней версии IBM Watson Studio Desktop.
Форумы на сайте Stack Overflow
К вашим услугам — форум по IBM Watson Studio и связанным с ним темам на площадке Stack Overflow.
Вопросы и ответы по IBM Watson Studio
Получите ответы на часто задаваемые вопросы от своих коллег.
IBM Watson Studio — облачная платформа для разработки приложений ИИ
Представляем IBM Watson Studio
Специалисты начинают пользоваться искусственным интеллектом для превращения нашего самого ценного ресурса — данных — в новые формы ведения бизнеса. Искусственный интеллект дает нам возможность закончить битву с данными и начать пользоваться ими для подготовки убедительных рекомендаций, ускорения научных исследований и повышения качества взаимодействия с клиентами в удобной для них форме. Задача систем искусственного интеллекта — дополнять интеллект человека, и сегодня мы делаем еще один шаг на пути к тому, чтобы сделать ИИ более доступным каждому. Встречайте IBM Watson Studio.
Watson Studio: полезно для организаций, работающих с искусственным интеллектом
Watson Studio ускоряет рабочие процессы, связанные с машинным и глубоким обучением, необходимые для интеграции ИИ в бизнес и поддержки инноваций. В состав решения входят инструменты для экспертов по анализу данных, разработчиков приложений и профильных экспертов, помогающие организовать совместную обработку данных и крупномасштабную компоновку, обучение и развертывание моделей. Для успешной реализации проектов ИИ нужны алгоритмы, данные, специалисты и очень мощная вычислительная инфраструктура.
До сегодняшнего дня существовал барьер между экспертами по данным и профильными экспертами. Только технические специалисты высшей квалификации могли систематизировать и анализировать огромные объемы данных. Только профильные эксперты могли трансформировать данные в знания, необходимые искусственному интеллекту. Однако они работали независимо друг от друга, пользовались разными инструментами и не могли обмениваться результатами работы. В итоге искусственному интеллекту не удавалось по-настоящему дополнять интеллект человека.
Watson Studio ликвидирует этот барьер и позволяет сформировать единую среду генерирования новых идей на основе знаний, содержащихся в данных. Watson Studio дает возможность организовать взаимодействие экспертов разного профиля в масштабах всей организации. Опыт работы с клиентами по всему миру убедил нас, что комплексное взаимодействие — ключ к реализации всего потенциала ИИ.
Полный набор инструментов для комплексной разработки приложений с использованием ИИ
Watson Studio содержит разнообразные средства организации полного жизненного цикла ИИ, включая лучшие в своем классе open source инструменты, а также инструменты от IBM. Функциональные компоненты могут требовать или не требовать необходимость в разработке кода и дают возможность компоновать и обучать собственные модели машинного обучения (МО) и глубокого обучения (ГО), а также проводить повторное обучение и настройку заранее обученных API Watson. Предусмотрены обширные возможности по тонкой настройке моделей, управлению ими и автоматизации цикла обратной связи, что позволяет моделям со временем становиться более умными и постоянно адаптироваться к изменению внешних условий.
Подключение и подготовка данных
Применение искусственного интеллекта начинается с подключения и загрузки данных. Эксперты по анализу данных тратят до 80% времени на поиск и подготовку данных; при этом 57% экспертов указали в ходе опроса, что чистка и систематизация данных — самая неприятная часть их работы. И с этой проблемой сталкиваются не только они. Бизнес-аналитики испытывают похожие трудности с получением данных, необходимых для подготовки отчетов. Порой им приходится ждать по несколько недель, пока сотрудники отдела ИТ извлекут нужные данные из исходных систем.
Для решения проблемы с очисткой и обработкой данных мы разработали средство Data Refinery, позволяющее организовать быструю самостоятельную подготовку данных. В состав Watson Studio входят свыше 35 интерфейсов для подключения к источникам данных из IBM Cloud, облаков других поставщиков, приложений и локальных систем.
Инструменты и обученные модели Watson
После подключения к данным необходимо скомпоновать и обучить модели. Разработчики приложений могут начать с проверенных, обученных и оптимизированных API Watson. Эти модели понимают настроение, классифицируют темы в тексте, выявляют особенности личностей и распознают объекты на фотографиях. Мы предоставляем доступ к подробно документированным API с примерами и фрагментами кода на распространенных языках программирования.
Не все компании располагают специалистами и ресурсами для разработки инновационных технологий машинного и глубокого обучения. Поэтому мы предлагаем простые инструменты, помогающие наполнять Watson знаниями из ваших собственных данных. Первый встроенный инструмент — Watson Visual Recognition. Он позволяет обучать специальные модели с помощью своих собственных изображений для решения индивидуальных задач в сфере распознавания образов.
Выбор фреймворков и лучшие в своем классе инструменты
Машинное и глубокое обучение постоянно эволюционируют. Watson Studio поддерживает большинство популярных инструментов обучения, сохранения, развертывания и автоматизации повторного обучения моделей. Эти инструменты входят в состав продукта, причем наше решение обеспечивает управление инфраструктурой, чтобы вы могли сконцентрироваться на своих проектах.
Пользуйтесь Python, R и Scala в Jupyter Notebooks. Ноутбуки — популярная среда разработки и обмена документами с кодом, математическими вычислениями, визуализацией и комментариями. Они применяются для очистки и трансформации данных, численного моделирования, статистического моделирования, машинного обучения и многого другого.
Вместе с командой RStudio мы создали самую популярную в мире среду статистических вычислений R с открытым кодом. В состав Watson Studio входит флагманский продукт RStudio — популярная среда разработки, упрощающая анализ данных с помощью языка R.
Инструменты визуального моделирования для тех, кто не любит программировать
Хотя среды с открытым кодом Python и R популярны за счет своей низкой стоимости, гибкости и широких возможностей, качественное программирование и тестирование кода могут занимать много времени и требовать больших усилий. Мы побеседовали со многими клиентами и поняли, что не все они — программисты. Поэтому мы предлагаем два инструмента для тех, кто предпочитает визуальное моделирование:
Гибкие вычислительные среды для крупномасштабного обучения моделей
Современные модели ИИ отличаются высокой сложностью и могут требовать терабайты данных для обучения. Идет активная работа по повышению вычислительной мощности процессоров, графических адаптеров, инструментов распределенного обучения и других средств. Watson Studio дает возможность самостоятельно выбрать аппаратное обеспечение для экспериментов и обучать модели с максимальной скоростью. Можно быстро масштабировать вычислительные ресурсы и настраивать зависимости пакетов в средах вычислений.
Поскольку вычислительные среды находятся в IBM Cloud, вы платите только за то, чем пользуетесь. Наша эластичная инфраструктура легко справляется с любыми пиковыми нагрузками и рассчитана на поддержку самых требовательных проектов.
Управление жизненным циклом моделей
Развертывание модели в производственной среде — это, как правило, непростая задача, требующая помощи занятых ИТ-специалистов. Когда на развертывание может уходить несколько недель, неудивительно, что эксперты по анализу данных предпочитают оставить свою новейшую модель и перейти на следующий проект вместо того, чтобы вновь и вновь обучать и развертывать имеющиеся модели.
В Watson Studio можно автоматизировать повторное обучение моделей и осуществлять мониторинг производительности моделей во времени. Это непрерывное обучение — уникальное достоинство нашей платформы. Можно настроить пороги, и если производительность будет падать, пользователи будут получать предупреждения и уведомления, чтобы эксперт по анализу данных мог принять необходимые меры.
Модели представляют собой динамические ресурсы, нуждающиеся в регулярном обновлении. Поэтому очень важно наличие средств контроля версий, позволяющих при необходимости возвращаться к предыдущим версиям. Эти средства должны быть доступны через API и пользовательский интерфейс.
Быстрый обмен результатами с помощью панелей мониторинга
Панели мониторинга Watson Studio упрощают визуализацию данных в приложениях. Пользователи могут самостоятельно создавать визуальные модели для поиска новых идей.
Интерактивные панели мониторинга обеспечивают визуализацию данных в режиме реального времени. Умные средства анализа данных и визуализации помогают находить закономерности и смысл в представленных данных. Также можно пользоваться фильтрами и средствами навигации по данным. Для максимального удобства работы пользователей панели мониторинга можно интегрировать в контекст приложений.
Интеграция с Watson Knowledge Catalog
Решение Watson Studio рассчитано на поддержку самых требовательных задач, которые могут быть реализованы с помощью искусственного интеллекта в организации. В частности, в состав решения входит интеллектуальная служба каталогов, позволяющая интегрировать и готовить аналитические ресурсы, включая структурированные и неструктурированные данные, где бы они ни находились (в локальной инфраструктуре или в облаке), для повышения продуктивности анализа данных, машинного обучения и искусственного интеллекта.
Объедините все информационные ресурсы в единый каталог с обширными метаданными. Искусственный интеллект Watson порекомендует оптимальные ресурсы, исходя из понимания Watson взаимосвязей между ресурсами и того, что с ними делают пользователи.
Мощный интегрированный механизм активации политик данных обеспечивает автоматическую защиту конфиденциальной информации согласно правилам, установленным в вашей организации.
Еще больше мощностей для ИИ
Watson Studio дает моделям шанс выполнить свое предназначение: учиться. Непрерывное обучение моделей с помощью новейших данных позволяет гарантировать постоянное соответствие моделей меняющимся обстоятельствам и дает организации знания, необходимые для принятия более обоснованных решений и реализации конкурентных преимуществ.
Watson Studio — продукт тесного взаимодействия IBM Research и других команд IBM Cloud. Надеемся, что вам понравится наш продукт, и с нетерпением ждем возможности узнать, что вы создадите с его помощью.
Попробуйте Watson Studio в облаке IBM!
Watson Studio можно попробовать в облаке IBM бесплатно — зарегистрируйтесь в облаке IBM и попробуйте IBM Watson Studio:
https://www.ibm.com/cloud/watson-studio.
Полезные ресурсы
IBM Watson Studio youtube playlist
Подпишитесь на рассылку уведомлений о бесплатных семинарах IBM.
Материалы для выполнения лабораторной работы с использованием IBM Watson Studio.
Программы по поддержке стартапов и партнеров IBM
Вопросы и ответы
Компания IBM признана лидером
Gartner выпускает отчет Magic Quadrant за 2021 год в категории «Платформы анализа данных и машинного обучения»
Часто задаваемые вопросы
Получите ответы на часто задаваемые вопросы об этом продукте.
Почему стоит выбрать IBM Watson® Studio?
Платформа IBM Watson Studio помогает компаниям создавать и масштабировать надежные решения на основе ИИ в любых облачных средах. В только что выпущенном отчете Gartner Magic Quadrant компания IBM названа лидером в категории «Платформы анализа данных и машинного обучения». Gartner отмечает, что IBM Watson Studio on IBM Cloud Pak® «предоставляет современное и комплексное решение» для тех организаций, которые стремятся повысить эффективность выполнения моделей ИИ и управления ими, упростить управление жизненным циклом ИИ, а также вооружить своих специалистов по работе с данными технологией, способной оптимизировать принятие решений на основе данных.
Что представляет собой Watson Studio?
Watson Studio представляет собой одну из базовых услуг мультиоблачной платформы данных и ИИ IBM Cloud Pak for Data. Watson Studio в сочетании с IBM Watson® Machine Learning и IBM Watson® OpenScale™ предоставляет инструменты, помогающие обеспечить эффективную совместную работу специалистов по обработке данных, разработчиков приложений и профильных экспертов с целью создания, выполнения и контроля моделей в требуемом масштабе.
В настоящее время Watson Studio доступен только в составе IBM Cloud Pak for Data? Какие предлагаются варианты развертывания?
Watson Studio — это одна из услуг IBM Cloud Pak for Data. IBM Cloud Pak for Data можно развернуть в частном облаке (за брандмауэром), в гибридном облаке, а также в средах Amazon Web Services (AWS), Microsoft Azure и Google Cloud. Кроме того, вы можете выбрать полностью управляемую услугу Watson Studio on IBM Cloud Pak® for Data as a Service на базе IBM Cloud®. Услуги в области данных и ИИ можно запускать в локальных и общедоступных облачных средах, а также в средах периферийных вычислений в рамках интеграции с IBM Cloud® Satellite™. Более того, вы можете развернуть готовую, предварительно настроенную платформу Watson Studio on IBM Cloud Pak® for Data System.
Если вас интересует только клиент для рабочего стола, рекомендуем обратить внимание на IBM Watson® Studio Desktop.
Когнитивная система IBM Watson: принципы работы с естественным языком
IBM Watson — одна из первых когнитивных систем в мире. Эта система умеет очень многое, благодаря чему возможности Watson используются во многих сферах — от кулинарии до предсказания аварий в населенных пунктах. В общем-то, большинство возможностей Watson не являются чем-то уникальным, но в комплексе все эти возможности представляют собой весьма мощный инструмент для решения разнообразных вопросов.
Например — распознавание естественного языка, динамическое обучение системы, построение и оценка гипотез. Все это позволило IBM Watson научиться давать прямые корректные ответы (с высокой степенью достоверности) на вопросы оператора. При этом когнитивная система умеет использовать для работы большие массивы глобальных неструктурированных данных, Big Data. Каковы основные принципы работы IBM Watson с языком? Об этом — в продолжении.
Основные сложности распознавания естественного языка
Для человека язык — это средство выражения мысли. Мы используем язык для передачи своего мнения, каких-либо данных и сведений. Можем делать прогнозы и формировать теории. Именно язык — краеугольный камень нашего сознания. При этом, вот парадокс, язык человека очень неточный.
Многие термины — нелогичны, и компьютерным системам понять нас бывает очень сложно. Например, как может быть тонким голос? Как можно сгореть со стыда? Для машины это — проблема, для человека же — вполне обыденная вещь. Дело в том, что для правильного ответа на вопрос во многих случаях необходимо учитывать имеющийся контекст. При отсутствии достаточной фактической информации трудно правильно ответить на вопрос, даже если вы можете найти точный ответ на элементы вопроса в буквальном смысле.
Обработка естественного языка — начало
Многие компьютерные системы способны анализировать язык, но при этом проводится поверхностный анализ. Это может иметь смысл, например, для того, чтобы поставить статистически обоснованную оценку тенденций в изменении эмоций на больших массивах информации. Здесь точность передачи информации не слишком важна, поскольку если даже если предположить, что число ошибочно-позитивных результатов примерно равно числу ошибочно-негативных результатов, то они компенсируют друг друга.
Но если значение имеют все случаи, то системы, которые работают с поверхностным анализом языка, уже не могут нормально делать свою работу. Ярким примером сказанному может быть задача для голосового помощника любого из мобильных устройств. Если сказать «найди мне пиццу», то помощник выведет список пиццерий. Если же сказать «не ищи мне пиццу в Мадриде», например, система все равно будет искать. Такие системы работают, идентифицируя некоторые ключевые слова и используя определенный набор правил. Результат может быть точным в заданной системе правил, но неправильным.
Глубокая обработка естественного языка
Для того, чтобы научить систему анализировать сложные смысловые конструкции, с учетом эмоций и прочих факторов, специалисты использовали глубокую обработку естественного языка. А именно — вопросно-ответную систему контентной аналитики (Deep Question*Answering, DeepQA). Если требуется большая точность, то приходится использовать дополнительные методы обработки естественного языка.
IBM Watson — система глубокой обработки естественного языка. При анализе определенного вопроса, для того, чтобы дать правильный ответ, система старается оценить как можно более обширный контекст. При этом используется не только информация вопроса, но и данные базы знаний.
Создание системы, способной провести глубокую обработку естественного языка, позволило решить и другую проблему — анализ огромного количества информации, которая генерируется ежедневно. Это неструктурированная информация, вроде твитов, сообщений социальных сетей, отчеты, статьи и прочее. IBM Watson научился использовать все это для решения задач, поставленных человеком.
Когнитивная система IBM Watson
Watson — это уже иной уровень вычислительных возможностей. Система умеет разделять определенные высказывания на естественном языке и находить связи между этими высказываниями. При этом Watson справляется с задачей, во многих случаях, даже лучше человека, при этом обработка данных идет гораздо быстрее, работа ведется с гораздо большими объемами — человек на такое просто неспособен.
Основные характеристики когнитивной системы
Система работает в таком порядке:
1. Получив вопрос, Watson выполняет его синтаксический анализ, чтобы выделить основные особенности вопроса.
2. Система генерирует ряд гипотез, просматривая корпус в поисках фраз, которые с некоторой долей вероятности могут содержать необходимый ответ. Для того чтобы вести эффективный поиск в потоках неструктурированной информации, нужны совершенно другие вычислительные возможности * их называют когнитивными системами. (не очень понимаю последнее предложение и роль звёздочки)
3. Система выполняет глубокое сравнение языка вопроса и языка каждого из возможных вариантов ответа, применяя различные алгоритмы логического вывода.
Это трудный этап. Существуют сотни алгоритмов логического вывода, и все они выполняют разные сравнения. Например, одни выполняют поиск совпадающих терминов и синонимов, вторые рассматривают временные и пространственные особенности, тогда как третьи анализируют подходящие источники контекстуальной информации.
4. Каждый алгоритм логического вывода выставляет одну или несколько оценок, показывающих, в какой степени возможный ответ следует из вопроса, в той области, которая рассматривается данным алгоритмом.
5. Каждой полученной оценке затем присваивается весовой коэффициент по статистической модели, которая фиксирует, насколько успешно справился алгоритм с выявлением логических связей между двумя аналогичными фразами из этой области в “период обучения” Watson. Эта статистическая модель может быть использована впоследствии для определения общего уровня уверенности системы Watson в том, что возможный вариант ответа следует из вопроса.
6. Watson повторяет процесс для каждого возможного варианта ответа до тех пор, пока не найдет ответы, которые будут иметь больше шансов оказаться правильными, чем остальные.
Как уже говорилось выше, для правильного ответа на вопрос системе необходимо обращаться к дополнительным источникам данных. Это могут быть учебники, мануалы, FAQ, новости и все прочее. Watson за считанные секунды обрабатывает огромные массивы информации для получения правильного ответа. При этом найденное содержимое тоже проверяется, отсеиваются устаревшие и бесполезные данные.
Элементы когнитивной системы
Общий смысл текста Watson выводит из полученной информации, из дополнительной базы. При этом используется заголовок документа, часть текста документа или весь текст.
Когнитивные системы, их способы сбора, запоминания и извлечения информации схожи с тем, как анализирует информацию человек. При этом когнитивные системы могут передавать информацию и действовать. Вот примеры поведенческих конструктов, которые используются в этом случае:
— способность создавать и проверять гипотезы;
— способность разбивать на составляющие и строить логические выводы о языке;
— способность извлекать и оценивать полезную информацию (такую как даты, местоположения и характеристики).
Без этих способностей ни компьютер, ни человек не смогут определить правильную взаимосвязь между вопросами и ответами.
Когнитивные процессы более высокого порядка могут достичь высокого уровня понимания, ориентируясь на основные способы поведения. Для того чтобы понять что-то, мы должны уметь разделить информацию на более мелкие элементы, которые достаточно хорошо упорядочены на рассматриваемом уровне. Физические процессы у человека протекают совсем не так, как процессы в космическом масштабе или на уровне элементарных частиц. Так же и когнитивные системы предназначены для работы на уровне человека, хотя они представляют огромное множество людей.
В связи с этим понимание языка начинается с понимания более простых правил языка – не только формальной грамматики, но и неформальных соглашений, которые наблюдаются в повседневном использовании.
Зачем все это?
Сейчас когнитивная система IBM Watson, благодаря многолетнему обучению и совершенствованию, может выполнять работу в самых разных сферах. Здесь и медицина, и кулинария, и лингвистика, и решение бизнес-задач с задачами научными.
Изначально у специалистов был выбор — сделать систему универсальной или специализированной. У каждого из вариантов есть свои достоинства и недостатки, но выбор был сделан в сторону универсальности.
Компания уже много раз убедилась в правильности совершенного выбора — перед IBM Watson открылось огромное количество возможностей. Например, когнитивная система помогает найти индивидуальный метод лечения раковых заболеваний, или составить оригинальнейший рецепт, или наладить бизнес-процесс в компании. Множество проблем решено, но еще больше только предстоит решить.
