Спецификации и ограничения модели данных.
Модель данных — это внедренные данные в книгу Excel которая работает с визуализациями данных, такими как совые таблицы и совые диаграммы. В этой статье описаны максимальные и настраиваемые пределы для книг Excel, которые содержат модели данных.
Книги, содержащие модель данных и визуализации данных, часто бывают очень большими и иногда превышают ограничения на размер файлов, накладываемые SharePoint Online или Office в Интернете в Microsoft 365.
В следующей таблице Excel 2010 2010 г. 2016 г. 2016 г. 2016 г. 2016 г. 2016 г. 2016 г. 2016 г. Советы по уменьшению размера модели см. в Excel модели данных с эффективным использованием памяти и надстройки Power Pivot.
Вы также можете использовать оптимизатор размера книги. Оно анализирует ваши книги Excel и при возможности дополнительно сжимает их.
Продукт или платформа
В 32-битной среде выделяется 2 ГБ виртуального адресного пространства, предоставленного в совместный доступ Excel, книге и надстройкам, которые работают в том же процессе. Доля адресного пространства, выделяемого для модели данных, может достигать 500–700 мегабайт (МБ), но может быть и меньше, если загружаются другие модели данных и надстройки.
64-разрядная среда не накладывает жестких ограничений на размер файлов. Размер книги ограничен только объемом доступной памяти и ресурсами системы.
SharePoint Server 2013 (1)
Максимальный размер файла для отправки в библиотеку документов:
По умолчанию 50 МБ
Максимальный размер файла для обработки книги в службах Excel:
по умолчанию 10 МБ;
Excel в Интернете в Office 365 3
Предельный общий размер файла — 250 МБ. Ограничения основного содержимого листа (все данные, хранящиеся не в модели данных) определяются согласно ограничениям размера файлов для книг в SharePoint Online.
Power BI Pro или бесплатная служба
(1) На SharePoint Server обратите внимание, что значения по умолчанию значительно ниже максимально допустимых. Попросите администратора SharePoint повысить пределы объема файлов, если ваш файл слишком велик для отправки или обработки. Дополнительные сведения о границах и ограничениях программного обеспечения для SharePoint Server 2013.
(2) Максимальный Upload размер должен быть настроен для каждого веб-приложения администратором SharePoint администратором. Администратор служб должен настроить максимальный размер книги в службах Excel. Дополнительные сведения для администраторов можно найти в окне Настройка максимального размера Upload на сайте TechNet.
(3) Ограничения в Microsoft 365 не настраиваются, но могут изменяться со временем. Последние сведения Microsoft 365 в Enterprise для служб. Вы также можете увидеть ограниченияSharePoint в Интернете.
В следующей таблице приведен максимальный размер и количество различных объектов, заданных в модели данных.
Символы в имени таблицы или столбца.
Количество таблиц в модели
Количество столбцов и вычисляемых столбцов в таблице.
Количество параллельных запросов к книге.
Количество различающихся значений в столбце
Количество строк в таблице
536 870 912 байт (512 МБ), эквивалентно 268 435 456 символам в Юникоде (256 мегасимволам)
Внимание:
Исключения из ограничения строк применяются к следующим функциям, где число строк ограничено 2097 152 символами Юникода:
Как уменьшить размер файла и ускорить его
Проблема 1. Используемый диапазон листа больше, чем нужно
Если ваша таблица занимает 5 на 5 ячеек, то это отнюдь не означает, что Excel запоминает при сохранении этого файла только 25 ячеек с данными. Если вы в прошлом использовали какие-либо ячейки на этом листе, то они автоматически включаются в используемый диапазон (так называемый Used Range), который и запоминается при сохранении книги. Проблема в том, что при очистке используемых ячеек Excel далеко не всегда автоматически исключает их из используемого диапазона, т.е. начинает запоминать в файле больше данных, чем реально имеется.
Проверить это просто – нажмите на клавиатуре сочетание клавиш Ctrl+End и посмотрите куда переместится активная ячейка. Если она прыгнет на фактическую последнюю ячейку с данными на листе – отлично. А если вдруг ускачет сильно правее и/или ниже «в пустоту» – дело плохо: все эти ненужные пустые ячейки Excel тоже запоминает внутри файла.
Лечится это, тем не менее, достаточно легко:
Если в вашей книге очень много таких листов, то проще, наверное, использовать короткий макрос.
Проблема 2. Используется старый формат XLS вместо новых XLSX, XLSM и XLSB
Проблема 3. Избыточное форматирование
Сложное многоцветное форматирование, само-собой, негативно отражается на размере вашего файла. А условное форматирование еще и ощутимо замедляет его работу, т.к. заставляет Excel пересчитывать условия и обновлять форматирование при каждом чихе.
Она мгновенно удаляет все излишнее форматирование до конца листа, оставляя его только внутри ваших таблиц и никак не повреждая ваши данные. Причем может это сделать даже для всех листов книги сразу.
Проблема 4. Ненужные макросы и формы на VBA
Большие макросы на Visual Basic и особенно пользовательские формы с внедренной графикой могут весьма заметно утяжелять вашу книгу. Для удаления:
Проблема 5. Именованные диапазоны
Если в вашем файле используются именованные диапазоны (особенно с формулами, динамические или получаемые при фильтрации), то имеет смысл от них отказаться в пользу экономии размера книги. Посмотреть список имеющихся диапазонов можно нажав Ctrl+F3 или открыв окно Диспетчера имен (Name Manager) на вкладке Формулы (Formulas) :
Проблема 6. Фотографии высокого разрешения и невидимые автофигуры
Если речь идет о фотографиях, добавленных в книгу (особенно когда их много, например в каталоге продукции), то они, само-собой, увеличивают размер файла. Советую сжимать их, уменьшая разрешение до 96-150 точек на дюйм. На экране по качеству это совершенно не чувствуется, а размер файла уменьшает в разы. Для сжатия воспользуйтесь кнопкой Сжать рисунки (Compress pictures) на вкладке Формат (Format) :
Для удаления вообще всех графических объектов на текущем листе можно использовать простой макрос:
Проблема 7. Исходные данные сводных таблиц
Если у вас несколько сводных таблиц на основе одного диапазона данных, то сократить размер файла здорово помогает метод, когда все сводные таблицы после первой строятся на основе уже созданного для первой таблицы кэша. В Excel 2000-2003 это делается выбором переключателя на первом шаге Мастера сводных таблиц при построении:
Проблема 8. Журнал изменений (логи) в файле с общим доступом
Мораль: не используйте общий доступ без необходимости или сократите количество дней хранения данных журнала, используя вторую вкладку Подробнее (Advanced) в окне Доступ к книге. Там можно найти параметр Хранить журнал изменений в течение N дней (Keep change history for N days) или совсем отключить его:
Проблема 9. Много мусорных стилей
Удалить ненужные стили можно с помощью макроса или готовой команды из надстройки PLEX.
Проблема 10. Много примечаний
Работа с большими файлами экселя
Что такое большой файл? Ну так чтобы реально большой? В бытность свою я думал, что это файлик на 50-60 тыс строк записей. И оставался я бы в таком неведении до сих пор, но пришлось выполнять один проект, в котором надо было работать с файлами на 600-800 тыс строк. Хождение по мукам — под катом:
Что сначала
А сначала, друзья мои, ринулись мы в самое простое, что можно придумать. Interop.Excell, и все дела. Казалось. Ага, щаз. Как показали тестовые испытания, данный способ открытия приводил к тому, что за час было прочитано 200 тыс строк экселя, приложение активно потребляло оперативку, и раздвигало плечами остальные процессы на машине. Кончилось все ожидаемо, но следственный эксперимент надо было довести до конца — на 260 тысячах приложение свалилось в OutOfMemory на машине с 4 Гб. Стало понятно, что в лоб решить проблему не получится
Google it
Сколько нам открытий чудных… Гугль привел, как ни странно, в msdn, где я познакомился с двумя методами открытия очень больших файлов: DOM и SAX. Уж за давностью времен не вспомню, но какой то из них отвалился по причине опостылевшей уже на тот момент OutOfMemory, а второй был совершенно неюзабелен в плане доступа к данным. Почему — читаем ниже.
Из чего же, из чего же
Сделаны наши эксельки. Ни для кого, кто решил копнуть формат чуть глубже, не станет секретом, что в отличие от бинарным xls, xlsx — по сути zip архив с данными. Достаточно поменять расширение ручками и распаковать архив в папку — и мы получим всю внутреннюю структуру документа, что есть не что иное, как набор xml файлов и сопутствующей информации. Как оказалось, в корневом xml нет текстовых данных. Вместо этого мы имеем набор индексов, которые ссылаются на вспомогательный файл, в котором представлены пары «ключ/значение» Одним из вышеприведенных способов открыть то файл можно, но при этом нужно копаться в сопутствующих файлах и вытаскивать из них текстовые значения. Мрак.
И отступила тьма
После долгих мытарств и стенаний родилось следующее:
Наши любимые юзинги, которые некоторые личности забывают указывать:
using System;
using System.Collections. Generic ;
using System.Data;
using System.Data.OleDb;
using System.IO;
using System.Linq;
using DocumentFormat.OpenXml;
using DocumentFormat.OpenXml.Packaging;
using DocumentFormat.OpenXml.Spreadsheet;
Собственно, сам код:
public delegate void MessageHave( string message);
public delegate void _DataLoaded( List string > data);
public delegate void _NewProcent( int col);
public static _DataLoaded DataLoaded;
public static _NewProcent NewProcent;
public static MessageHave MessageHave_Event;
id++;
if (id == calc)
<
NewProcent(id);
calc += 1000;
>
>
DataLoaded(lines);
>
cnn.Close();
>
catch (Exception ex)
<
MessageHave_Event( «Exception: » + ex.Message);
cnn.Close();
>
>
>
Код показал производительность порядка 15-20 минут на файлах в 600-800 тыс строк записей.
Если кому то реализация покажется кривой — сильно не пинать 🙂 Выслушаю все комментарии
