Размерность и базис линейного пространства
Определения размерности и базиса
Базисом n-мерного линейного пространства называется упорядоченная совокупность линейно независимых векторов ( базисных векторов ).
и притом единственным образом, т.е. коэффициенты определяются однозначно. Другими словами, любой вектор пространства может быть разложен по базису и притом единственным образом.
Теорема 8.2 о дополнении системы векторов до базиса. Всякую линейно независимую систему векторов n-мерного линейного пространства можно дополнить до базиса пространства.
2. В некоторых пространствах, часто встречающихся в приложениях, один из возможных базисов, наиболее удобный с практической точки зрения, называют стандартным.
3. Теорема 8.1 позволяет говорить, что базис — это полная система элементов линейного пространства, в том смысле, что любой вектор пространства линейно выражается через базисные векторы.
5. Теорема 8.2 позволяет говорить, что базис — это максимальная линейно независимая система векторов линейного пространства, так как базис — это линейно независимая система векторов, и ее нельзя дополнить каким-либо вектором без потери линейной независимости.
Примеры базисов линейных пространств
Укажем размерность и базис для примеров линейных пространств, рассмотренных выше.
5. В пространстве матриц размеров можно выбрать 6 матриц:
которые линейно независимы. Действительно, их линейная комбинация
6. Для любого натурального в пространстве многочленов с комплексными коэффициентами можно найти п линейно независимых элементов. Например, многочлены линейно независимы, так как их линейная комбинация
Во-первых, покажем, что система линейно независима. В самом деле, возьмем линейную комбинацию этих ковекторов и приравняем ее нулевой функции
т.е. функция представлена в виде линейной комбинации функций (числа — коэффициенты линейной комбинации). Следовательно, система ковекторов является базисом сопряженного пространства и (для конечномерного пространства ).
Линейная алгебра для исследователей данных
«Наша [Ирвинга Капланского и Пола Халмоша] общая философия в отношении линейной алгебры такова: мы думаем в безбазисных терминах, пишем в безбазисных терминах, но когда доходит до серьезного дела, мы запираемся в офисе и вовсю считаем с помощью матриц».
Для многих начинающих исследователей данных линейная алгебра становится камнем преткновения на пути к достижению мастерства в выбранной ими профессии.

В этой статье я попытался собрать основы линейной алгебры, необходимые в повседневной работе специалистам по машинному обучению и анализу данных.
Произведения векторов
Для двух векторов x, y ∈ ℝⁿ их скалярным или внутренним произведением xᵀy
называется следующее вещественное число:
Как можно видеть, скалярное произведение является особым частным случаем произведения матриц. Также заметим, что всегда справедливо тождество
Для двух векторов x ∈ ℝᵐ, y ∈ ℝⁿ (не обязательно одной размерности) также можно определить внешнее произведение xyᵀ ∈ ℝᵐˣⁿ. Это матрица, значения элементов которой определяются следующим образом: (xyᵀ)ᵢⱼ = xᵢyⱼ, то есть
Следом квадратной матрицы A ∈ ℝⁿˣⁿ, обозначаемым tr(A) (или просто trA), называют сумму элементов на ее главной диагонали:
След обладает следующими свойствами:
Для любой матрицы A ∈ ℝⁿˣⁿ: trA = trAᵀ.
Для любой матрицы A ∈ ℝⁿˣⁿ и любого числа t ∈ ℝ: tr(tA) = t trA.
Для любых матриц A,B, таких, что их произведение AB является квадратной матрицей: trAB = trBA.
Для любых матриц A,B,C, таких, что их произведение ABC является квадратной матрицей: trABC = trBCA = trCAB (и так далее — данное свойство справедливо для любого числа матриц).

Нормы
Норму ∥x∥ вектора x можно неформально определить как меру «длины» вектора. Например, часто используется евклидова норма, или норма l₂:
Более формальное определение таково: нормой называется любая функция f : ℝn → ℝ, удовлетворяющая четырем условиям:
Для всех векторов x ∈ ℝⁿ: f(x) ≥ 0 (неотрицательность).
f(x) = 0 тогда и только тогда, когда x = 0 (положительная определенность).
Для любых вектора x ∈ ℝⁿ и числа t ∈ ℝ: f(tx) = |t|f(x) (однородность).
Для любых векторов x, y ∈ ℝⁿ: f(x + y) ≤ f(x) + f(y) (неравенство треугольника)
Другими примерами норм являются норма l₁
Все три представленные выше нормы являются примерами норм семейства lp, параметризуемых вещественным числом p ≥ 1 и определяемых как
Нормы также могут быть определены для матриц, например норма Фробениуса:
Линейная независимость и ранг
линейно зависимы, так как x₃ = −2xₙ + x₂.
Столбцовым рангом матрицы A ∈ ℝᵐˣⁿ называют число элементов в максимальном подмножестве ее столбцов, являющемся линейно независимым. Упрощая, говорят, что столбцовый ранг — это число линейно независимых столбцов A. Аналогично строчным рангом матрицы является число ее строк, составляющих максимальное линейно независимое множество.
Оказывается (здесь мы не будем это доказывать), что для любой матрицы A ∈ ℝᵐˣⁿ столбцовый ранг равен строчному, поэтому оба этих числа называют просто рангом A и обозначают rank(A) или rk(A); встречаются также обозначения rang(A), rg(A) и просто r(A). Вот некоторые основные свойства ранга:
Для любой матрицы A ∈ ℝᵐˣⁿ: rank(A) ≤ min(m,n). Если rank(A) = min(m,n), то A называют матрицей полного ранга.
Для любой матрицы A ∈ ℝᵐˣⁿ: rank(A) = rank(Aᵀ).
Для любых матриц A ∈ ℝᵐˣⁿ, B ∈ ℝn×p: rank(AB) ≤ min(rank(A),rank(B)).
Ортогональные матрицы
Два вектора x, y ∈ ℝⁿ называются ортогональными, если xᵀy = 0. Вектор x ∈ ℝⁿ называется нормированным, если ||x||₂ = 1. Квадратная м
атрица U ∈ ℝⁿˣⁿ называется ортогональной, если все ее столбцы ортогональны друг другу и нормированы (в этом случае столбцы называют ортонормированными). Заметим, что понятие ортогональности имеет разный смысл для векторов и матриц.
Непосредственно из определений ортогональности и нормированности следует, что
Другими словами, результатом транспонирования ортогональной матрицы является матрица, обратная исходной. Заметим, что если U не является квадратной матрицей (U ∈ ℝᵐˣⁿ, n
для любых вектора x ∈ ℝⁿ и ортогональной матрицы U ∈ ℝⁿˣⁿ.

Область значений и нуль-пространство матрицы
Областью значений R(A) (или пространством столбцов) матрицы A ∈ ℝᵐˣⁿ называется линейная оболочка ее столбцов. Другими словами,
Нуль-пространством, или ядром матрицы A ∈ ℝᵐˣⁿ (обозначаемым N(A) или ker A), называют множество всех векторов, которые при умножении на A обращаются в нуль, то есть
Квадратичные формы и положительно полуопределенные матрицы
Для квадратной матрицы A ∈ ℝⁿˣⁿ и вектора x ∈ ℝⁿ квадратичной формой называется скалярное значение xᵀ Ax. Распишем это выражение подробно:
Симметричная матрица A ∈ 𝕊ⁿ называется положительно определенной, если для всех ненулевых векторов x ∈ ℝⁿ справедливо неравенство xᵀAx > 0. Обычно это обозначается как
(или просто A > 0), а множество всех положительно определенных матриц часто обозначают
Симметричная матрица A ∈ 𝕊ⁿ называется положительно полуопределенной, если для всех векторов справедливо неравенство xᵀ Ax ≥ 0. Это записывается как
(или просто A ≥ 0), а множество всех положительно полуопределенных матриц часто обозначают
Аналогично симметричная матрица A ∈ 𝕊ⁿ называется отрицательно определенной
, если для всех ненулевых векторов x ∈ ℝⁿ справедливо неравенство xᵀAx
), если для всех ненулевых векторов x ∈ ℝⁿ справедливо неравенство xᵀAx ≤ 0.
Наконец, симметричная матрица A ∈ 𝕊ⁿ называется неопределенной, если она не является ни положительно полуопределенной, ни отрицательно полуопределенной, то есть если существуют векторы x₁, x₂ ∈ ℝⁿ такие, что
Собственные значения и собственные векторы
Для квадратной матрицы A ∈ ℝⁿˣⁿ комплексное значение λ ∈ ℂ и вектор x ∈ ℂⁿ будут соответственно являться собственным значением и собственным вектором, если выполняется равенство
На интуитивном уровне это определение означает, что при умножении на матрицу A вектор x сохраняет направление, но масштабируется с коэффициентом λ. Заметим, что для любого собственного вектора x ∈ ℂⁿ и скалярного значения с ∈ ℂ справедливо равенство A(cx) = cAx = cλx = λ(cx). Таким образом, cx тоже является собственным вектором. Поэтому, говоря о собственном векторе, соответствующем собственному значению λ, мы обычно имеем в виду нормализованный вектор с длиной 1 (при таком определении все равно сохраняется некоторая неоднозначность, так как собственными векторами будут как x, так и –x, но тут уж ничего не поделаешь).
Перевод статьи был подготовлен в преддверии старта курса «Математика для Data Science». Также приглашаем всех желающих посетить бесплатный демоурок, в рамках которого рассмотрим понятие линейного пространства на примерах, поговорим о линейных отображениях, их роли в анализе данных и порешаем задачи.
Подпространство линейного пространства
Определение и размерность подпространства
Определение 6.1. Подпространством L n-мерного пространства R называется множество векторов, образующих линейное пространство по отношению к действиям, которые определены в R.
Другими словами, L называется подпространством пространства R, если из x, y∈L следует, что x+y∈L и если x∈L, то λ x∈L, где λ— любое вещественное число.
Простейшим примером подпространства является нулевое подпространство, т.е. подмножество пространства R, состоящее из единственного нулевого элемента. Подпространством может служить и все пространство R. Эти подпространства называются тривиальными или несобственными.
Подпространство n-мерного пространства конечномерно и его размерность не превосходит n: dim L≤ dim R.
Сумма и пересечение подпространств
Cуммой L+M называется множество векторов x+y, где x∈L и y∈M. Очевидно, что любая линейная комбинация векторов из L+M принадлежит L+M, следовательно L+M является подпространством пространства R (может совпадать с пространством R).
Пересечением L∩M подпространств L и M называется множество векторов, принадлежащих одновременно подпространствам L и M (может состоять только из нулевого вектора).
Теорема 6.1. Сумма размерностей произвольных подпространств L и M конечномерного линейного пространства R равна размерности суммы этих подпространств и размерности пересечения этих подпространств:
dim L+dim M=dim(L+M)+dim(L∩M).
Доказательство. Обозначим F=L+M и G=L∩M. Пусть G g-мерное подпространство. Выберем в нем базис 


составляют базис F=L+M. Для того, чтобы векторы (6.1) составляли базис пространства F они должны быть линейно независимы и любой вектор пространства F можно представить линейной комбинацией векторов (6.1).
Докажем линейную независимость векторов (6.1). Пусть нулевой вектор пространства F представляется линейной комбинацией векторов (6.1) с некоторыми коэффициентами:
Левая часть (6.3) является вектором подпространства L, а правая часть является вектором подпространства M. Следовательно вектор
принадлежит подпространству G=L∩M. С другой стороны вектор v можно представить линейной комбинацией базисных векторов подпространства G:
Из уравнений (6.4) и (6.5) имеем:
Но векторы 

В силу линейной независимости базиса подпространства L имеем:
Так как все коэффициенты в уравнении (6.2) оказались нулевыми, то векторы
Изучая базисы подпространств L и M и базис подпространства F=L+M (6.10), имеем: dim L=g+l, dim M=g+m, dim (L+M)=g+l+m. Следовательно:
dim L+dim M−dim(L∩M)=dim(L+M). ■
Прямая сумма подпространств
Определение 6.2. Пространство F представляет собой прямую сумму подпространств L и M, если каждый вектор x пространства F может быть единственным способом представлен в виде суммы x=y+z, где y∈ L и z∈M.
Прямая сумма обозначается L⊕M. Говорят, что если F=L⊕M, то F разлагается в прямую сумму своих подпространств L и M.
Теорема 6.2. Для того, чтобы n-мерное пространство R представляло собой прямую сумму подпространств L и M, достаточно, чтобы пересечение L и M содержало только нулевой элемент и чтобы размерность R была равна сумме размерностей подпространств L и M.
Доказательство. Выберем некоторый базис 

является базисом пространства R. По условию теоремы размерность пространства R n равна сумме подпространств L и M (n=l+m). Достаточно доказать линейную независимость элементов (6.11). Пусть нулевой вектор пространства R представляется линейной комбинацией векторов (6.11) с некоторыми коэффициентами:
Но векторы 

Установили, что (6.12) справедливо лишь при условии (6.15), а это доказывает линейную независимость векторов (6.11). Следовательно они образуют базис в R.
Пусть x∈R. Разложим его по базису (6.11):
Из (6.17) и (6.18) следует, что любой вектор из R можно представить суммой векторов x1∈L и x2∈M. Остается доказать что это представление является единственным. Пусть кроме представления (6.17) есть и следующее представление:
Вычитая (6.19) из (6.17), получим
Так как 





РАЗМЕРНОСТЬ

Основы теории Р. были заложены в 1-й пол. 20-х гг. 20 в. в работах П. С. Урысона и К. Менгера. К кон. 30-х гг. была построена теория Р. метризуемых пространств со счетной базой, а к нач. 60-х гг.- теория Р. любых метризуемых пространств.
Ниже все рассматриваемые топологич. пространства считаются нормальными и хаусдорфовыми. В этом случае в определении Р. без ущерба вписываемые открытые покрытия можно заменить на замкнутые.
б) существует бикомпактное расширение bХ пространства X, вес к-рого 

Казалось бы, что Р. должна обладать свойством монотонности: dim 


Одним из важнейших вопросов теории Р. является поведение Р. при непрерывных отображениях. В случае замкнутых отображений (к ним принадлежат и все непрерывные отображения бикомпактов) ответ дается формулами В. Гуревича (W. Hurewicz), полученными им первоначально в классе пространств со счетной базой.
Формула Гуревича для повышающих размерность отображений: если отображение 


Формула Гуревича для понижающих размерность отображений: для непрерывного замкнутого отображения 

где 
Для произвольного нормального пространства Yэта формула, вообще говоря, неверна.
В случае открытых отображений можно показать, что образ нульмерного бикомпакта нульмерен и в то же время гильбертов кирпич есть образ одномерного компакта, даже если соответствующее отображение f имеет размерность dim f, равную нулю. Однако в случае открытого отображения 

Поведение Р. при взятии топологич. произведения описывают следующие утверждения:
а) существуют такие конечномерные компакты Xи Y, что 
б) если один из сомножителей произведения 


в) существуют такие нормальные пространства Xи Y, что 
Наиболее содержательна теория Р. прежде всего в классе метрич. пространств со счетной базой и затем в классе любых метрич. пространств. В классе мет-рич. пространств со счетной базой выполняются равенства Урысона
dimX = indX = IndX. (2)
В классе любых метрич. пространств выполняется р а-венство Катетова
и может быть ind X=0 m найдется бикомпакт (метрич. пространство) X с ind X=m,Ind X = n,- неизвестно (1983).
См. также Размерности теория.
Лит.:[1] А л е к с а н д р о в П. С., П а с ы н к о в Б. А., Введение в теорию размерности, М., 1973; [2] Г у р е в и ч В., В о л м э н Г., Теория размерности, пер. с англ., М., 1948; [3] У р ы с о н П. С. Труды по топологии и другим областям математики, т. 1-2, М.- Л., 1951. Б. А. Пасынков.






































