What is apple xsan

Совместный доступ с RAIDIX и Apple Xsan. Яблочный спас для видеомонтажеров

Эффективное хранение файлов большого размера в различных отраслях становится непростой задачей. Так, в медиаиндустрии используются колоссальные объемы контента. Учитывая, что цифровое видео формата 4K требует в 4 раза больше свободной емкости, чем файлы стандартного высокого разрешения, художественный фильм средней продолжительности может занимать от 2 (в формате Full HD) до 15 (в 8К) терабайт данных.

Специалисты студии оперируют файлами терабайтных размеров и осуществляют видеомонтаж, цветокоррекцию и окончательную обработку материала с помощью ресурсоемких профессиональных приложений.

Студии постпродакшн в большинстве случаев используют оборудование компании Apple и профессиональный набор программного обеспечения, например, Apple Final Cut Pro, Adobe Premiere Pro, Autodesk Discreet Smoke, DaVinci Resolve и другие.

Одним из оптимальных решений для быстрого совместного доступа к файлам с различных рабочих станций Apple является кластерная файловая система Xsan, которая обеспечивает высокую производительность при обмене общими ресурсами между несколькими клиентами.

В сочетании с надежной системой хранения данных данное решение позволяет не только обеспечить совместный доступ к материалам, но и максимальную пропускную способность, отказоустойчивость в RAID-массивах и гибкую масштабируемость архитектуры. Далее мы расскажем, как построить высокопроизводительную СХД на базе ПО RAIDIX и файловой системы Xsan, приведем элементы инфраструктуры, технические показатели, рекомендации по оборудованию, подключению и настройке системы.

Задачи и решение

Постоянно растущий объем информации и использование ресурсоемкого ПО в постпродакшн предполагает растущий спрос на высокопроизводительные СХД с высокой доступностью данных. В то же время современные технологические процессы обработки видеоданных требуют, чтобы одни и те же файлы были доступны одновременно для нескольких монтажных станций, выполняющих различные задачи.

Другие ключевые требования медиастудий включают в себя:

1. Высокую скорость доступа. Предполагает использование локального хранилища или высокоскоростной доступ к сетевой системе хранения данных.
2. Распределенный доступ. Предполагает использование файловой системы с одновременным доступом к файлам со множества рабочих станций.

Одновременное решение этих полярных задач удачно реализовано в файловой системе Xsan. Apple Xsan — 64-битная кластерная файловая система Apple для Mac OS X или Mac OS X Server. Система предназначена для организации быстрого доступа к огромным массивам данных. Xsan позволяет совместно использовать файлы и тома размером до 16 ТБ каждый в высокоскоростной оптической сети.

Xsan характеризуется высоким уровнем доступности и почти полным отсутствием сбоев, предоставляя возможность использовать сеть SAN для консолидации данных и замены NAS-устройств.

Компоненты решения

Система хранения данных

В роли СХД выступает одноконтроллерный сервер SM 6048R-E1CR36N с установленным ПО RAIDIX и конфигурацией FC 16Gb + JBOD 847E1C-R1K28JBOD. Система поддерживает SATA, SAS, NL-SAS диски. СХД имеет 4 порта Fibre Channel 16 Гбит, общая пропускная способность достигает 6 ГБ/с.

Контроллер метаданных

В роли контроллера метаданных (MDC) рекомендуется использовать Apple Mac Mini. Для обеспечения высокой доступности предпочтительнее использовать 2 контроллера метаданных.

Клиентская рабочая станция

В роли клиентских станций рекомендуется использовать Apple Mac Pro сервер.

Файловая система

Распределенная кластерная файловая система Xsan позволяет получить одновременный доступ к видеоматериалу с любой рабочей станции. Xsan должна быть предварительно установлена и лицензирована на Apple Mac Mini.

Коммутация

Fibre Channel/Thunderbolt. Mac mini и Mac Pro не поддерживают FC адаптеры, поэтому для подключения их в SAN-сеть рекомендуется использовать ATTO ThunderLink FC 2082 для Mac Mini и ATTO ThunderLink FC 2162 для Mac Pro.

Fiber Channel (FC) коммутатор. При построении решения с небольшим количеством клиентов (до 20) подключение между FC адаптерами осуществляется напрямую от СХД к MDC и клиентам (без FC коммутатора). Для развертывания SAN-сети с большим количеством клиентов требуется как минимум один FC коммутатор.

Большинство всех компонентов соединены оптоволоконным кабелем с коннекторами LC-LC и подключаются непосредственно в адаптеры ATTO FC системы хранения данных и рабочих станций, FC Thunderbolt, FC коммутаторы.

Важно: оптические кабели подключаются к FC адаптерам через SFP трансиверы в каждый порт. Большинство FC адаптеров имеют в комплекте поставки SFP трансиверы, однако некоторые коммутаторы поставляются без трансиверов, что необходимо учитывать при закупке оборудования.

Единственным исключением в схеме оптической коммутации является соединение между Apple Mac Mini и Fiber Channel Thunderbolt: оно осуществляется с помощью специального кабеля Thunderbolt.

Сервера MDC и все клиентские рабочие станции должны быть объединены ETH каналом (сетью) для метаданных.

Архитектура решения

В качестве управляющего компонента в данной архитектуре рассмотрим RAIDIX — ПО для создания универсальных высокопроизводительных систем хранения данных с использованием стандартных аппаратных компонентов. Используя параллельные RAID-вычисления и уникальные математические алгоритмы собственной разработки, ПО RAIDIX соответствует высоким требованиям медиаиндустрии по производительности, отказоустойчивости и непрерывности работы.

Ниже представлена схема коммутации компонентов, необходимых для построения высокоскоростной и высокодоступной системы хранения данных для медиастудий.

RAIDIX поддерживает одноконтроллерный (задействован один узел) и двухконтроллерный (Active-Active) режимы работы системы. При двухконтроллерном режиме работы оба узла активны, работают одновременно и имеют доступ к единому набору дисков. Под узлами понимаются аппаратно-независимые компоненты системы хранения данных, которые имеют собственные процессоры, кэш-память, материнскую плату и могут быть объединены в кластер.
Ниже представлена схема коммутации компонентов, необходимых для построения высокоскоростной и высокодоступной системы хранения данных для медиастудий.

Рекомендации

Ниже приведены рекомендации по конфигурированию системы хранения данных для обеспечения высокой производительности и надежности.

Настройка ATTO FC Thunderbolt

На стороне клиентских рабочих станции рекомендуется использовать последние версии прошивки и драйвера. В большинстве случаев рекомендуется использовать настройки по умолчанию для FC Thunderbolt. Все настройки устанавливаются с помощью утилиты ATTO ConfigTool, которую можно загрузить с сайта производителя.

Диски

Рекомендуется использовать диски NL SAS 7K. Эти диски имеют лучшие показатели по стоимости 1 ГБ и обеспечивают высокую плотность и надежность хранения.

Выделенная подсеть Ethernet для MDC

Каждая рабочая станция Apple Mac Pro поставляется минимум с двумя портами Ethernet 1G, встроенными в материнскую плату. Один из этих портов должен быть подключен к изолированной, выделенной для каждого клиента Xsan подсети и использоваться для первичного трафика метаданных Xsan. Apple Mac Mini, развернутый в качестве контроллера метаданных, имеет один порт Ethernet. Рекомендуемая конфигурация предполагает использовать этот порт в изолированной сети с другими клиентами. Такая конфигурация исключает доступ к Mac Mini за пределами изолированной подсети.

Один том (LUN) в одном RAID массиве

В конфигурации, где важна последовательная пропускная способность, желательно свести к минимуму количество операций поиска по дискам. В связи с этим рекомендуется создавать один том (LUN) на весь размер RAID массива. Кроме того, том Xsan следует создавать из блочных устройств одной системы хранения данных.

Конфигурация RAID-массива

Высокая скорость последовательного доступа и оптимальное использование дискового пространства достигается за счет параллельных вычислений и уникальных математических алгоритмов. Кроме того, в решении используется патентованный RAID-массив 7.3i с тройным распределением четности. Под контрольные суммы выделяется ёмкость трёх дисков, что обусловливает более высокую степень надёжности.

Для обеспечения высокой пропускной способности необходимо создать четыре инициализированных RAID 7.3i массива из 18 дисков каждый (2 массива — диски на узлах хранения; 2 другие массива — диски JBOD’а). Для каждого RAID-массива следует выделить кэш не менее 12 ГБ оперативной памяти. Остальные 8 дисков рекомендуется равномерно распределить в spare pool по 2 диска для каждого RAID массива.

Для тома под метаданные Xsan рекомендуется создать отдельный RAID 10 из двух 2,5” дисков, напрямую подключенных к материнской плате.

Результаты для бизнеса

Xsan позволяет использовать все возможности сети SAN и настроить сервер-хранилище данных, визуализируя сложную топологию сети в простом графическом интерфейсе. С помощью этой кластерной файловой системы пользователь может управлять доступом к важным файлам, задавать квоты для каждого пользователя, настраивать оповещения, консолидировать данные, масштабировать инфраструктуру «на лету».

Используя кластерные функции Xsan, решение на базе RAIDIX позволяет обеспечить максимальную ширину канала в каждой конкретной аппаратной конфигурации, поддержку множественных потоков 2К/4К, быструю обработку данных с нескольких рабочих машин Apple Mac Pro и отказоустойчивость даже при отказе до 3 дисков в массиве.

Таким образом, медийный заказчик получает возможность сократить время постпродакшн (на практике в 2–4 раза в зависимости от проекта), а также обеспечить в среднем более 300 суток непрерывной записи в режиме онлайн (до проведения профилактики), поддержку режимов мультикамерного видеомонтажа и прозрачный мониторинг системы.

Источник

About Xsan configuration profiles

If you’re an advanced SAN administrator, you can set keys in configuration profile payloads to set up Xsan clients and control certain Xsan volume mount behaviors.

Xsan Payload

An Xsan payload configures an Xsan client system. You can designate an Xsan payload by specifying com.apple.xsan as the PayloadType value. This payload is supported on OS X Yosemite and OS X El Capitan or later.

Key	Type	Value
sanName	String	The name of the SAN. This key is required for all Xsan SANs. The name must match exactly the name of the SAN defined in Server app.
sanConfigURLs	Array of Strings	Each string in this array contains an LDAP URL where Xsan systems can obtain SAN configuration updates. This key is required for all Xsan SANs. There should be one entry for each Xsan MDC.

Example URL: ldaps://mdc1.example.com:389 fsnameservers Array of Strings This array contains one string value for each of the SAN’s File System Name Server coordinators. This key is required for StorNext SANs. The list should contain the same addresses in the same order as the MDC’s /Library/Preferences/Xsan/fsnameservers file.

Xsan SAN clients automatically receive updates to the fsnameservers list from the SAN configuration servers whenever this list changes. StorNext administrators should update their profile whenever the fsnameservers list changes. sanAuthMethod String Determines authentication method for the SAN. This key is required for all Xsan SANs. This key is optional for StorNext SANs but it should be set if the StorNext SAN uses an auth_secret file. Only one value is accepted:

auth_secret sharedSecret String The shared secret used for Xsan network authentication. This key is required when the sanAuthMethod key is present. The String value should equal the content of the MDC’s /Library/Preferences/Xsan/.auth_secret file.

• Don’t create Xsan payloads to configure Xsan MDCs. Only use Server app to configure Xsan MDCs.
• A Mac can only have one Xsan payload installed.

Xsan Preferences payload

The Xsan preferences payload can be used to configure which volumes automatically mount at startup. For StorNext volumes this payload also determines whether the mount uses Fibre Channel or Distributed LAN Client (DLC). The Xsan preferences payload is designated by specifying com.apple.xsan.preferences as the PayloadType value. This payload is supported on OS X El Capitan or later.

Key	Type	Value
onlyMount	Array of Strings	Each string in this array is an Xsan or StorNext volume name. If this key is present, the Xsan client attempts to automatically mount these volumes at startup. Volumes that don’t appear in this list can be mounted manually by the system administrator using xsanctl(8)’s mount command.
denyMount	Array of Strings	Each string in this array is an Xsan or StorNext volume name. If this key is present and no onlyMount array is present, the Xsan client automatically attempts to mount all SAN volumes except the volumes in this array. Volumes in this array can be mounted manually by the system administrator using xsanctl(8)’s mount command.
denyDLC	Array of Strings	Each string in this array is a StorNext volume name. If this key is present and the Xsan client is attempting to mount a volume in this array, the client only mounts the volume if its LUNs are available via Fibre Channel. It does not attempt to mount the volume using Distributed LAN Client (DLC).
preferDLC	Array of Strings	Each string in this array is a StorNext volume name. If this key is present and the Xsan client is attempting to mount a volume in this array, the Xsan client attempts to mount the volume using Distributed LAN Client (DLC). If DLC is not available, the client attempts to mount the volume if its LUNs are available via Fibre Channel. In order for this to work, the volume name must not appear in denyDLC.
useDLC	Boolean	If this key is present, it controls the use of Distributed LAN Client (DLC) for all volumes not listed in the denyDLC array (if present) or the preferDLC array (if present). If this key is absent, the absence of any Fibre Channel interfaces triggers a preference for DLC when mounting all StorNext volumes.

Keys in the Xsan preferences payload can also be written with defaults(1) in the «/Library/Preferences/com.apple.xsan» preference domain as an alternative to using configuration profiles. For example, to prevent mounting a StorNext volume named «shared-EX0123456789ab» using Distributed LAN Client you could use this command:

Although a Mac can have more than one Xsan preferences payload installed, you should avoid setting the same key in different payloads. If more than one payload defines the same key, the resulting behavior is undefined.

Any Xsan filesystem mount always uses Fibre Channel connections to its LUNs when LUNs are visible to that client, even if the client is configured to mount the volume using DLC. Setting the mount option to use DLC when LUNs are available using Fibre Channel means that Xsan initiates a connection to the Distributed LAN client/server at mount. It terminates this connection soon after. If you have a large number of clients engaging in this behavior, it can negatively impact the server’s ability to serve your clients.

Источник