Datalore: открываем бета-версию приложения для анализа данных на Python
В рядах инструментов JetBrains пополнение. Мы запускаем открытую бета-версию Datalore — умной веб-среды для анализа и визуализации данных на языке Python.
Машинное обучение уверенно захватывает мир: алгоритмы интеллектуального анализа данных стоят за современными коммерческими разработками и исследованиями. Мы разработали приложение, с которым решать задачи машинного обучения легко и приятно: все необходимые инструменты data science доступны из коробки, а умный редактор кода на Python облегчает процесс анализа данных.
Возможности Datalore
Во-первых, как и все продукты JetBrains, Datalore — это умный редактор кода: с автодополнениями, подсветкой синтаксиса и инспекциями.
Самая классная фича редактора кода — интеншны (intentions). В зависимости от задачи, внизу окна редактирования появляется релевантный интеншн — “load dataset”, “train test split” “select model” и т.д. Выберите нужное действие, и код для подгрузки датасета или модели автоматически сгенерируется в ячейке редактора. А результаты сразу же отобразятся в окне вывода.
Автодополнения и интеншны облегчают работу в редакторе кода. Можно перестать беспокоиться и сосредоточиться на анализе данных и подборе параметров модели.
Во-вторых, мы поддерживаем инкрементальные вычисления: при подборе параметров, замене одной строки или добавлении ячейки не нужно запускать весь воркбук с нуля. Datalore автоматически запускает вычисление только тех операций, которые зависели от правок. С учетом того, что все вычисления запускаются автоматически, в окне вывода всегда будут самые актуальные цифры и таблицы.
Кроме этого, Datalore дает доступ к разным вычислительным мощностям в зависимости от задачи.
В-третьих, мы собрали основные инструменты data science в одном веб-приложении: от базовых библиотек для работы с данными, библиотеки алгоритмов машинного обучения sklearn и алгоритмов deep learning pytorch до мощных инструментов для визуализации.
Инструменты действительно мощные. Наша библиотека datalore.plot — это реализованный на Питоне аналог библиотеки ggplot языка R. Модуль datalore.geo_maps разработан специально для создания интерактивных карт.
Datalore сохраняет весь процесс анализа в облаке. Работа начинается с удобного файлового хранилища всех воркбуков. Отсюда же можно поделиться c коллегами ссылкой на воркбук и решать задачу вместе: Datalore поддерживает одновременную работу нескольких пользователей.
Изменения в воркбуке сохраняются автоматически (и никаких безнадежно утраченных данных). Если что-то пошло не так, можно откатиться к предыдущим вариантам анализа и отследить хронику изменений с помощью встроенной системы контроля версий.
Лицензирование
В режиме public beta Datalore доступен по бесплатному коммьюнити-плану. В дальнейшем плата за использование будет зависеть от объема загруженных данных и использованных мощностей.
Что дальше?
Регистрируйтесь на datalore.io и подгружайте первый датасет!
Жаждем услышать мнение о Datalore от всех, кто часто и придирчиво работает с задачами машинного обучения: аналитиков, data scientists, исследователей и студентов. Мы хотим сделать самый удобный инструмент для интеллектуального анализа данных и с нетерпением ждем ваши отзывы. Пишите на наш форум, чтобы оставить комментарий о продукте и связаться с нами и другими пользователями.
upd 15.02 Если вы запустили сложный алгоритм, использовали более мощные вычислительные инстансы и получили сообщение «Surcharge limit reached» — пожалуйста, расскажите на форуме, какую задачу вы решали, и мы пришлем вам код для активации дополнительного времени работы с инстансами.
Что такое Datalore?
Read this post in other languages:
English, 한국어, 简体中文
Мы довольно давно начали работу над этим проектом и хотим напомнить, что такое Datalore и как он поможет вам в путешествии по миру Data Science.
Datalore — это онлайн-блокнот для Data Science c функциями умного редактора кода.
А теперь по порядку.
Онлайн-инструмент
Все вычисления Datalore выполняет в облаке. Чтобы запустить код на Python или Kotlin, достаточно открыть браузер, зарегистрироваться на datalore.jetbrains.com и создать свой первый notebook-файл. Не нужно ничего настраивать. Datalore включает набор лучших библиотек для Data Science, готовых к использованию.
Инструмент для Data Science
Datalore был создан для того, чтобы помогать аналитикам и специалистам Data Science в решении повседневных задач.
Работа с блокнотами
Редактор кода поддерживает Markdown и LaTex, которые позволяют записывать текст и формулы в удобном формате.
Также мы дополнили интерфейс. Теперь в работе с notebook-файлами вы можете использовать:
Функции умного редактора кода
Пожалуй, лучшей из возможностей Datalore является функциональность IDE, унаследованная от PyCharm.
Автодополнение кода, быстрые исправления, автоимпорты, возможности переименования и переформатирования помогут вам писать код более эффективно. Попробуйте их и поделитесь с нами своими впечатлениями! 
И еще одна важная вещь: Datalore создан не только для самостоятельной, но и для командной работы.
Командная работа в Datalore
Datalore предлагает несколько способов организации командной работы:
Готовы начать работу с Datalore? Предлагаем вам посмотреть небольшой видеоурок для знакомства с инструментом:
Регистрируйтесь в Datalore!
Подробнее о возможностях Datalore читайте в нашем блоге. Как и всегда, мы рассчитываем на вашу обратную связь. Пишите нам в комментариях либо на нашем форуме.
Путешествуйте по миру Data Science с удовольствием!
Ваша команда Datalore
The Drive to Develop
Как изменился Datalore за 2020 год: мощная онлайн-среда для Jupyter-ноутбуков
Datalore — это мощная онлайн-среда для Jupyter-ноутбуков, разработанная в JetBrains. Здесь мы собрали описание самых важных обновлений Datalore за прошедший год.
Профессиональный план Datalore
В ноябре мы запустили Datalore Professional. Этот план был разработан для решения сложных задач с большими наборами данных, которым требуется мощное вычислительное оборудование.
Вот сравнительная таблица параметров Datalore Community и Datalore Professional.
| Community | Professional | |
|---|---|---|
| Базовый CPU-процессор (4 ГБ RAM, имя AWS: t3.medium) | 120 часов | ♾️ |
| Мощный CPU-процессор (16 ГБ RAM, 2 ядра vCPUs, на 400% быстрее базового CPU-процессора, имя AWS: r5.large) | – | 120 часов |
| GPU-процессор (1 NVIDIA T4 GPU, 16 ГБ RAM GPU, 4 ядра vCPU, имя AWS: g4dn.xlarge) | — | 20 часов |
| Хранилище | 10 ГБ | 20 ГБ |
| Цена | Бесплатно | 19,90$ в месяц |
Улучшения в редакторе кода
Анализ кода из PyCharm
В начале года мы интегрировали анализ кода из PyCharm, добавив автодополнение кода, рефакторинги, быстрые исправления и навигацию в Datalore. Теперь вы можете пользоваться такой же первоклассной помощью при написании кода, как в PyCharm, в своих онлайновых Jupyter-ноутбуках.
Совместимость с ядром Jupyter
В прошлом году мы также много работали над стабильностью ядра IPython в Datalore, и сейчас оно стало намного надежнее. Еще есть над чем работать, так что мы продолжим делать ядро более стабильным в этом году.
Ядро Jupyter теперь полностью поддерживается вместе с виджетами, графическими библиотеками и shell-командами.
Кроме того, ноутбуки теперь загружаются значительно быстрее, так как нам удалось вдвое сократить время запуска Conda.
Поддержка Kotlin
Kotlin — это язык программирования с открытым исходным кодом, разработанный в JetBrains. Он хорошо подходит для анализа данных и разработки мультиплатформенных приложений. В Datalore мы добавили поддержку Kotlin в ноутбуки IPython. Попробуйте! Просто выберите Kotlin в качестве языка при создании ноутбука.
Поддержка workspace-файлов и S3-бакетов
В декабре мы реализовали поддержку workspace-файлов, что позволяет обмениваться файлами данных между несколькими ноутбуками.
Для тех, кто работает с большим объемом данных, мы также добавили поддержку подключения S3-бакетов. Подробности читайте в этом блогпосте.
Улучшения пользовательского интерфейса
Боковая панель для быстрых действий
Чтобы вы могли быстрее работать с файлами и перемещаться по содержимому ноутбуков, мы добавили вкладку боковой панели внутри редактора. С этой панели есть прямой доступ к прикрепленным файлам, включая файлы ноутбука и workspace-файлы. Кроме того, вы можете использовать оглавление и обозреватель переменных. Окно быстрых команд (Shortcuts) также появится на боковой панели при открытии из меню Help.
Темный режим
В прошлом году мы представили темный режим. Вы можете изменить тему ноутбука в меню View в редакторе, где также можно включить режим Distraction free и опцию разделенного просмотра Split view.
Панель инструментов Markdown
Мы также представили панель инструментов для более удобного редактирования Markdown. Она помогает описывать код с помощью текста, формул LaTex и HTML-кода внутри ячеек Markdown.
Сотрудничество с Anaconda
У JetBrains долгая история сотрудничества с Anaconda, а PyCharm — IDE для Python, рекомендованная в установщике Anaconda. С октября 2020 года и Datalore, и PyCharm представлены в новом Anaconda Navigator! Обновите Anaconda Navigator до последней версии и запускайте Datalore прямо оттуда.
Исследования и уроки:
В прошлом году мы сделали несколько интересных исследовательских и обучающих проектов:
Вот и все, что касается основных обновлений, представленных в 2020 году. Следите за нашим блогом, чтобы узнавать о новых возможностях Datalore.
