Интересные особенности Python, о которых вы могли не догадываться
PyJail 1
После подключения, перед нами появляется вот такое приветствие, и небольшое описание:
Суть в следующем: мы попали в ограниченную версию интерпретатора Python, из неё нужно либо выйти, либо получить содержимое файла .passwd, в той же директории. Ничего сложного, просто нужно выйти из интерпретатора. Попробуем это сделать:
С этим разобрались, осталось выяснить, какие действия совершать разрешено. Попробуем print:
Это работает. Так же доступно создание переменных и функций:
А что насчет свойств объекта?
Они тоже доступны. В Python практически всё является объектом, в том числе и функции. Более подробно о том как работать с функцией как с объектом можно прочитать тут.
Теперь переходим к финальной части, попробуем посмотреть список констант, которые объявлены в единственно доступной нам функции exit():
Из полученных сведений можно образно восстановить логику работы функции:
Проверим эту догадку:
Да, это работает, Таким образом, мы можем не только просмотреть список используемых переменных, но так же получить байткод этой функции, который после несложной декомпиляции, можно хоть и с погрешностями но восстановить.
PyJail 2
Вторая часть. По традиции нам как всегда нужно получить содержимое файла .passwd. Приступим. Попробуем ту же технику, что использовали в первой части:
Попробуем иначе. Первым делом проверим доступна ли команда dir?
Да, она работает, но пока на данном этапе мало чем полезна. После проверки остальных функций из списка, обнаруживаем, что мы можем использовать ещё одну функцию:
Что это даёт? Из документации известно следующее:
Return the value of the named attribute of object. name must be a string. If the string is the name of one of the object’s attributes, the result is the value of that attribute. For example, getattr(x, ‘foobar’) is equivalent to x.foobar. If the named attribute does not exist, default is returned if provided, otherwise AttributeError is raised.
Функция принимает объект, находит в нём метод и возвращает его. Посмотрим какие методы есть у getout:
Отлично, действуя по аналогии как это было в PyJail1, сначала узнаём список функций используемых в getout:
Теперь получаем список констант:
Вот таким вот не хитрым образом используя Python у нас появляется возможность одно действие сделать множеством различных способов. На этом пока всё.
Запуск произвольного недружественного кода Python на моем сервере
Я делаю игру, в которой пользователи могут писать программы Python для управления роботами, которые сражаются друг с другом. Каждый ход (в игре на тысячу ходов) их сценарий будет запускаться на моем сервере, чтобы определить следующий ход робота. Как я могу помешать этим пользователям быть злыми по отношению к моему серверу?
Я думал/исследовал следующее:
У меня есть программа Python, которая запускает сценарий пользователя тысячу раз. Как я могу обеспечить максимальную общую продолжительность в одну минуту, ограничить их ресурсы памяти, запретить им доступ к любым файлам или сетевым подключениям и так далее? Каким было бы идеальное решение или комбинация решений?
3 ответа
Я только начал изучать Python, и сейчас я довольно растерян. Я хочу запустить свой скрипт на моем сервере, который размещен через hosting24.com. Их FAQ говорит, что они поддерживают Python, но я понятия не имею, куда поместить мой скрипт для его запуска. В моем корне есть папка под названием.
У меня есть серверный хостинг от Blueshot. Я использую php для получения переменных post из iPhone. Но теперь я должен использовать python, чтобы получить переменную post из iPhone. Я написал что-то вроде этого import cgi import cgitb; cgitb.enable() # for troubleshooting print Content-type.
Я заглянул в ваш профиль и решил, что это продолжающийся labour-of-love! вот так..
Учитывая ваши требования, я предполагаю, что вы планируете что-то, что будет доступно через Интернет.
Что касается вашей второй линии расследования:
У меня есть программа Python, которая запускает пользовательский скрипт тысячу раз. Как я могу обеспечить максимальную общую продолжительность в одну минуту, ограничить их ресурсы памяти, запретить им доступ к каким-либо файлам или сетевые подключения и так далее? Каким было бы идеальное решение или комбинация решений?
Как вы, вероятно, знаете, это хорошо проторенная почва, уходящая корнями в 1980-е годы. Повторное изобретение иногда, но не всегда лучше, с точки зрения информированной перспективы. Для получения идей о том, как разработать временные срезы инструкций игроков и так далее, вы можете взглянуть на источники некоторых связанных текущих проектов, уже существующих в дикой природе. например:
— робокод
Этот проект имеет долгая история ; находится в руках сообщества с 2005 года и активно поддерживается. источники java. важное чтение имо.
https://github.com/robo-code/robocode
Мнение:
Полная виртуализация приведет к головным болям и ненужным накладным расходам.
Имейте тюрьму исключительно в качестве одноразового ‘arena’, в котором можно запускать коды. убедитесь, что он работает с минимальными ресурсами & привилегиями, необходимыми для выполнения работы.
Полностью отделите ваше веб-приложение от тюрьмы (например, не должно быть необходимости в том, чтобы у тюрьмы был доступ к сети и так далее).
Таким образом, рабочий процесс может быть таким:
загружайте игровые запросы через свое веб-приложение.
благослови запросы на игру. вы сказали «произвольные недружественные коды«, но на самом деле игра будет иметь некоторые формальные параметры; вам понадобится только подмножество функций Python. по крайней мере, проверьте это.
выстраивайте в очередь явно вменяемые игровые запросы и отправляйте их на арену (она же тюрьма).
если вы действительно параноик, постройте новую чистую арену/тюрьму для каждой новой игры.
запустите игру на арене. сохранение каждого дискретного состояния игры (во внутреннем недорогом формате) в базе данных, локальной для тюрьмы.
из-за пределов тюрьмы, & когда игра будет завершена, предоставьте веб-приложению базу данных состояния игры, а затем отправьте ее в Интернет.
Заметки о создании тюрьмы Python.
Имейте в виду, что некоторые дистрибутивы nix, такие как Ubuntu и Centos , используют python в своей работе. В этом случае, чтобы избежать засорения вашей системы, вы можете создать любую версию Python, требуемую из исходных текстов.
Во-первых, более формальный подход к jailkit, включающий создание выделенного пользователя, может быть:
И вот не рекомендуемый, более специальный подход
(NB: причина, по которой мне нужно было возиться с источниками jailkit, заключается в том, что он использует тот же «/./» взлом входа в систему, что и pure-ftp)
У меня есть скрипт Python, который принимает файл XML в качестве входных данных, а затем обрабатывает его и создает другой файл. Теперь способ, которым я должен запустить эту программу в terminal (mac), таков: ТТХ myfile.xml И это делает свою работу. Теперь я пытаюсь установить эту программу на.
В cpython нет встроенного способа запуска изолированного кода, но он есть в pypy.
Есть несколько других способов, описанных в python wiki (например, использование jailkit), но они, похоже, имеют различные недостатки.
Я бы пошел по пути пайпа.
Похожие вопросы:
Selemium использует браузер, чтобы открыть страницу и получить контент. Но на моем сервере azure(на основе командной строки) У меня не могло быть хрома или firefox. Итак, какова альтернатива.
Я только начал изучать Python, и сейчас я довольно растерян. Я хочу запустить свой скрипт на моем сервере, который размещен через hosting24.com. Их FAQ говорит, что они поддерживают Python, но я.
У меня есть серверный хостинг от Blueshot. Я использую php для получения переменных post из iPhone. Но теперь я должен использовать python, чтобы получить переменную post из iPhone. Я написал.
У меня есть скрипт Python, который принимает файл XML в качестве входных данных, а затем обрабатывает его и создает другой файл. Теперь способ, которым я должен запустить эту программу в terminal.
Можно ли автоматизировать фрагмент кода с Python, который будет запускаться, например, каждый час? Если да, то как это делается? Этот код предназначен для запуска на сервере Azure.
Является ли json.loads из стандартного модуля json Python уязвимым для выполнения произвольного кода или каких-либо других проблем безопасности? Мое приложение может получать JSON сообщений из.
Я написал сценарий на своем персональном компьютере, чтобы организовать некоторые файлы PDF, которые находятся на моем офисном сервере, в формате CSV. Однако у меня нет Python, установленного в моем.
Python code jailing
I have bunch of python-projects with untrusted WSGI-apps inside them. I need to run them simulatiously and safely. So I need restrictions for directory access, python module usage and limitations for CPU and Memory.
I consider two approaches:
Import via imp-module WSGI-object from defined file, and running it with pysandbox. Now I have SandboxError: Read only object when doing:
Modify Python interpreter, exclude potentially risky modules, run in parallel processes, communicate via ZMQ/Unix sockets. I even don’t know where to start here.
What could you recommend?
1 Answer 1
I would run your applications with gunicorn, with a separate process and configuration for each app, and with user-level permissions (each untrusted app on a different user). Each gunicorn instance would serve on localhost on a user-range port, and nginx or another webserver could connect into them to route and serve them to the web.
Heroku takes this a step further and sandboxes each gunicorn instance (or unicorn or apache or arbitrary other server) in a virtual machine. This is probably the most secure possible way to do things, and definitely the best option for reliably limiting CPU and memory usage, but you may not need to go that far depending on your requirements.
One of the advantages of this kind of approach is that each application can run on a different version of Python if appropriate; with the virtual machine sandbox they can even run on different operating systems entirely.
Edit again: One completely different approach would be to use PyPy’s sandboxing mechanism which should be much more secure than CPython plus a sandboxing module. However, I would prefer the guincorn or gunicorn + virtual machine approach.
🐍 4 ошибки в коде на Python, которые выдают в вас новичка
Яндекс.Практикум
Привет! Меня зовут Маша, я уже шесть лет занимаюсь коммерческой разработкой на Python, а ещё пишу задачи и объясняю теорию для студентов курса «Мидл Python-разработчик» от Яндекс.Практикума. По опыту знаю, что начинающий разработчик чаще всего хорошо знает синтаксис языка, но не до конца разбирается с тем, что у Python «под капотом».
В результате программист-джуниор допускает неочевидные ошибки: на первый взгляд, его код написан идеально, но почему-то работает некорректно. Защититься от таких недоразумений поможет только знание нюансов внутренней работы Python. Поэтому сегодня я рассмотрю типичные проблемы, с которыми сталкиваются новички, и предложу несколько вариантов их решения.
1. Полагаетесь на изменяемые типы в значениях по умолчанию
У Python есть прекрасная особенность, а именно возможность задавать значения по умолчанию. Вы можете написать так:
И вам не придётся каждый раз указывать степень, в которую вы хотите возвести число (пока эта степень – 2), или уточнять количество ног у вашего кота.
Такое поведение бывает сложно поймать: если вы создали всего один экземпляр объекта, то, скорее всего, не заметите проблему. Но столкнётесь с ней позже.
Как решить проблему? Привыкайте вместо значений по умолчанию указывать None :
Тогда код будет работать корректно, и все коты останутся на своих местах!
2. Вызываете функцию в значении по умолчанию
Продолжаем разбираться с магией значений по умолчанию, а точнее – с вызовом функции. Представьте себе, что вы установили дома умную камеру и настроили её так, чтобы она записывала действия всех, кто появляется в её поле зрения, в текстовый файл. Ваша функция будет выглядеть так:
После этого вы, спокойные и довольные собой, ушли на работу.
В чём подвох? Вернувшись домой, вы решили проверить, как записалось каждое событие, посмотреть актуальные даты и описания. Ожидание:
Реальность – все события как будто произошли в одно и то же время:
Как её решить? Чтобы время вычислялось каждый раз при вызове вашей функции, нужно перенести вычисления в тело функции:
Так вы всё-таки узнаете, во сколько Том и Адорианец пили кофе и когда агент Кей ворвался к вам домой со своим нейралайзером.
3. Используете одновременно int и bool как ключи dict
Предположим, вы решили написать простой переводчик с компьютерного языка на человеческий для своего умного дома. Вам нужно, чтобы True отображалось как «Правда», False – как «Ложь», а 1 и 0 переводились как «Есть» и «Нет». Зафиксируем все переводы в словаре:
В чём подвох? В этом словаре используется четыре разных ключа. Проверим, действительно ли всё работает корректно:
Кажется, что-то пошло не так. Давайте заглянем в сам словарь:
Из него пропали два варианта перевода, а те, что остались – неверные.
Чем объясняется проблема? Чтобы разобраться в произошедшем, нужно понимать две вещи: что такое класс bool и как работает словарь.
Hash-функции ключей перестанут совпадать, и ответ словаря будет таким, как мы хотели, – общий язык с умным домом всё-таки будет найден:
4. Используете set для ускорения вычислений
В чём подвох? Рассмотрим конструкцию с точки зрения интерпретатора:
Чтобы найти нужный элемент, интерпретатор последовательно идёт по ссылкам, начиная с первой, и сравнивает объект с искомым: найдя нужные данные, он останавливает поиск. Чем длиннее список, тем больше времени занимает процесс. В O-нотации это записывается как O(n).
O-нотация называет такую сложность O(1): вне зависимости от размеров множества поиск будет происходить за одинаковое количество времени.
Как решить проблему? Звучит банально, но правильнее было бы не мудрить и воспользоваться обычным поиском.
Как говорится в дзене Python, «простое лучше сложного».
Советы для новичков в Python
Пожалуй, самый главный совет, который стоит дать специалистам-джуниорам, только начинающим свою карьеру в Python, – это не только зубрить основы, но и заглядывать внутрь инструмента, которым вы пользуетесь.
Чтобы не оказаться тем самым новичком, у которого ничего не работает, я советую:
Значения исключений и ошибок в Python
Обработка ошибок увеличивает отказоустойчивость кода, защищая его от потенциальных сбоев, которые могут привести к преждевременному завершению работы.
Прежде чем переходить к обсуждению того, почему обработка исключений так важна, и рассматривать встроенные в Python исключения, важно понять, что есть тонкая грань между понятиями ошибки и исключения.
Обработка исключений делает код более отказоустойчивым и помогает предотвращать потенциальные проблемы, которые могут привести к преждевременной остановке выполнения. Представьте код, который готов к развертыванию, но все равно прекращает работу из-за исключения. Клиент такой не примет, поэтому стоит заранее обработать конкретные исключения, чтобы избежать неразберихи.
Ошибки могут быть разных видов:
Разберем их по очереди.
Синтаксические ошибки (SyntaxError)
Синтаксические ошибки часто называют ошибками разбора. Они возникают, когда интерпретатор обнаруживает синтаксическую проблему в коде.
Рассмотрим на примере.
Стрелка вверху указывает на место, где интерпретатор получил ошибку при попытке исполнения. Знак перед стрелкой указывает на причину проблемы. Для устранения таких фундаментальных ошибок Python будет делать большую часть работы за программиста, выводя название файла и номер строки, где была обнаружена ошибка.
Недостаточно памяти (OutofMemoryError)
Но поскольку Python использует архитектуру управления памятью из языка C (функция malloc() ), не факт, что все процессы восстановятся — в некоторых случаях MemoryError приведет к остановке. Следовательно, обрабатывать такие ошибки не рекомендуется, и это не считается хорошей практикой.
Ошибка рекурсии (RecursionError)
Эта ошибка связана со стеком и происходит при вызове функций. Как и предполагает название, ошибка рекурсии возникает, когда внутри друг друга исполняется много методов (один из которых — с бесконечной рекурсией), но это ограничено размером стека.
Все локальные переменные и методы размещаются в стеке. Для каждого вызова метода создается стековый кадр (фрейм), внутрь которого помещаются данные переменной или результат вызова метода. Когда исполнение метода завершается, его элемент удаляется.
Ошибка отступа (IndentationError)
Эта ошибка похожа по духу на синтаксическую и является ее подвидом. Тем не менее она возникает только в случае проблем с отступами.
Исключения
Даже если синтаксис в инструкции или само выражение верны, они все равно могут вызывать ошибки при исполнении. Исключения Python — это ошибки, обнаруживаемые при исполнении, но не являющиеся критическими. Скоро вы узнаете, как справляться с ними в программах Python. Объект исключения создается при вызове исключения Python. Если скрипт не обрабатывает исключение явно, программа будет остановлена принудительно.
Программы обычно не обрабатывают исключения, что приводит к подобным сообщениям об ошибке:
Ошибка типа (TypeError)
Ошибка деления на ноль (ZeroDivisionError)
Оставшаяся часть строки с ошибкой предлагает подробности о причине ошибки на основе ее типа.
Теперь рассмотрим встроенные исключения Python.
Встроенные исключения
Прежде чем переходить к разбору встроенных исключений быстро вспомним 4 основных компонента обработки исключения, как показано на этой схеме.
В следующем разделе руководства больше узнаете об общих типах исключений и научитесь обрабатывать их с помощью инструмента обработки исключения.
Ошибка прерывания с клавиатуры (KeyboardInterrupt)
Исключение KeyboardInterrupt вызывается при попытке остановить программу с помощью сочетания Ctrl + C или Ctrl + Z в командной строке или ядре в Jupyter Notebook. Иногда это происходит неумышленно и подобная обработка поможет избежать подобных ситуаций.
Стандартные ошибки (StandardError)
Рассмотрим некоторые базовые ошибки в программировании.
Арифметические ошибки (ArithmeticError)
Все перечисленные выше исключения относятся к классу Arithmetic и вызываются при ошибках в арифметических операциях.
Деление на ноль (ZeroDivisionError)
Когда делитель (второй аргумент операции деления) или знаменатель равны нулю, тогда результатом будет ошибка деления на ноль.
Переполнение (OverflowError)
Ошибка переполнение вызывается, когда результат операции выходил за пределы диапазона. Она характерна для целых чисел вне диапазона.
Ошибка утверждения (AssertionError)
Когда инструкция утверждения не верна, вызывается ошибка утверждения.
Ошибка атрибута (AttributeError)
Ошибка импорта (ModuleNotFoundError)
Ошибка импорта вызывается при попытке импортировать несуществующий (или неспособный загрузиться) модуль в стандартном пути или даже при допущенной ошибке в имени.
Ошибка поиска (LookupError)
LockupError выступает базовым классом для исключений, которые происходят, когда key или index используются для связывания или последовательность списка/словаря неверна или не существует.
Здесь есть два вида исключений:
Ошибка ключа
Ошибка индекса
Если пытаться получить доступ к индексу (последовательности) списка, которого не существует в этом списке или находится вне его диапазона, будет вызвана ошибка индекса (IndexError: list index out of range python).
Ошибка памяти (MemoryError)
Как уже упоминалось, ошибка памяти вызывается, когда операции не хватает памяти для выполнения.
Ошибка имени (NameError)
Ошибка имени возникает, когда локальное или глобальное имя не находится.
Ошибка выполнения (Runtime Error)
Ошибка типа (TypeError)
Ошибка типа вызывается при попытке объединить два несовместимых операнда или объекта.
В примере ниже целое число пытаются добавить к строке, что приводит к ошибке типа.
Ошибка значения (ValueError)
Ошибка значения вызывается, когда встроенная операция или функция получают аргумент с корректным типом, но недопустимым значением.
В этом примере встроенная операция float получат аргумент, представляющий собой последовательность символов (значение), что является недопустимым значением для типа: число с плавающей точкой.
Пользовательские исключения в Python
В Python есть много встроенных исключений для использования в программе. Но иногда нужно создавать собственные со своими сообщениями для конкретных целей.
Это можно сделать, создав новый класс, который будет наследовать из класса Exception в Python.
В предыдущем примере если ввести что-либо меньше 1, будет вызвано исключение. Многие стандартные исключения имеют собственные исключения, которые вызываются при возникновении проблем в работе их функций.
Недостатки обработки исключений в Python
У использования исключений есть свои побочные эффекты, как, например, то, что программы с блоками try-except работают медленнее, а количество кода возрастает.
Поэтому стоит ограничить использование обработки исключений в Python и применять его в редких случаях. Например, когда вы не уверены, что будет вводом: целое или число с плавающей точкой, или не уверены, существует ли файл, который нужно открыть.
Выводы!
Как вы могли увидеть, обработка исключений помогает прервать типичный поток программы с помощью специального механизма, который делает код более отказоустойчивым.
Обработка исключений — один из основных факторов, который делает код готовым к развертыванию. Это простая концепция, построенная всего на 4 блоках: try выискивает исключения, а except их обрабатывает.
Очень важно поупражняться в их использовании, чтобы сделать свой код более отказоустойчивым.
