Remote differential compression что это
В отличие от двоичного дельта-сжатия (BDC), которое предназначено для работы только с известными версиями одного файла, RDC не делает предположений о сходстве файлов или управлении версиями. Различия между файлами вычисляются на лету, поэтому RDC подходит для эффективной синхронизации файлов, которые были обновлены независимо, где пропускная способность сети мала или когда файлы большие, но различия между ними невелики.
Используемый алгоритм основан на блокировке отпечатков пальцев в каждом файле локально на обоих концах партнеров репликации. Поскольку многие типы изменений файлов могут привести к перемещению содержимого файла без других значительных изменений (например, небольшая вставка или удаление в начале файла может привести к смещению остальной части файла с исходным содержимым) используемые блоки для сравнения, основаны не на статических произвольных точках разреза, а на точках разреза, определенных содержимым каждого сегмента файла. Это означает, что если часть файла изменяется по длине или блоки содержимого перемещаются в другие части файла, границы блоков для частей, которые не изменились, остаются фиксированными по отношению к содержимому, и, следовательно, серия отпечатков пальцев эти блоки не меняются, они просто меняют положение. Сравнивая все хэши в файле с хешами того же файла на другом конце пары репликации, RDC может определить, какие блоки файла были изменены, а какие нет, даже если содержимое файла было значительно изменено. перетасовали. Поскольку для сравнения больших файлов может потребоваться большое количество сравнений сигнатур, алгоритм рекурсивно применяется к хеш-наборам, чтобы определить, какие блоки хэшей были изменены или перемещены, что значительно сокращает объем данных, которые необходимо передать для сравнения файлов.
Более поздние версии Windows поддерживают межфайловый RDC, который находит файлы, похожие на реплицируемый, и использует блоки подобных файлов, которые идентичны реплицируемому файлу, для минимизации данных, передаваемых по глобальной сети. Межфайловый RDC может использовать блоки до пяти одинаковых файлов.
Содержание
Прекращение
Установка и настройка DFS и репликации файлов в Windows Server 2012
Распределенная файловая система DFS ( Distributed File System) – это технология, обеспечивающая возможности упрощения доступа к общим файловым ресурсам и глобальной репликации данных. Благодаря DFS распределённые по различным серверам общие ресурсы (каталоги и файлы) можно объединить в единую логическую UNC структуру, которая для пользователя выглядит, как единый сетевой ресурс. Даже при изменении физического местоположения целевой папки, это не влияет на доступ пользователя к ней.
Установка служб DFS в Windows Server 2012
Установить службы DFS можно с помощью консоли Server Manager или же при помощи Windows PowerShell.
Как мы уже говорили, службы DFS являются элементами роли Files and Storage Services:
Но проще и быстрее установить все DFS службы и консоль управления DFS с помощью PowerShell:
, где FS-DFS-Namespace – служба DFS Namespaces
FS-DFS-Replication – служба репликации DFS Replication
RSAT-DFS-Mgmt-Con– mmc консоль управления службами DFS — DFS Management Tools (также входит в состав Remote Server Administration Tools для Windows 10)
Настройка пространства имен DFS в Windows Server 2012
Перейдем к описанию процедуры настройки пространство имен DFS, для чего необходимо открыть панель управления DFS Management tool.
Создадим новое пространство имен (New Namespace).
Необходимо указать имя сервера, который будет содержать пространство имен (это может быть как контроллер домена, так и рядовой сервер).
Затем следует указать имя создаваемого пространства имен DFS и перейти в расширенные настройки (Edit Settings).
Здесь следует указать имя пространства имен DFS и права доступа к данному каталогу. Обычно рекомендуется указать, что доступ к сетевой папке разрешен Всем (Everyone), в этом случае права доступа проверяются на уровне файловой системы NTFS.
Далее мастер предложит указать тип создаваемого пространства имен. Это может быть Domain-based namespace (доменное пространство имен) или Stand-alone namespace (отдельное пространство имен). Domain-based namespace обладает ряд преимуществ, но для его работы нужен, собственно домен Active Directory и права администратора домена (либо наличие делегированных прав на создание доменных пространств имен DFS).
После окончания работы мастера в ветке Namespaces консоли управления DFS появится созданное нами новое пространство имен DFS. Чтобы пользователи при доступе к DFS каталогам видели только те каталоги, к которым у них имеется доступ, включим для данного пространства DFS Access-Based Enumeration (подробнее о данной технологии в статье Access-Based Enumeration в Windows). Для этого откройте окно свойств созданного пространства имен.
И на вкладке Advanced включите опцию Enable access-based enumeration for this namespace.
Чтобы посмотреть содержимое нового пространства DFS, просто наберите в окне проводника UNC путь: \\имя_домена_или_сервера\DFS
Добавление дополнительного DFS сервера
В доменное пространство имен DFS можно добавить дополнительный сервер (пункт меню Add Namespace Server), который его будет поддерживать. Делается это для увеличения доступности пространства имен DFS и позволяет разместить сервер пространства имен в том же сайте, в котором находится пользователи.
Добавление нового каталога в существующее пространство имен DFS
Теперь нужно добавить новый сетевой каталог в иерархию созданного нами пространства имен DFS. Нажмите кнопку Add Folder Target.
Укажите наименование каталога в DFS пространстве и его реальное местоположение на существующем файловом сервере (Folder targets).
Настройка DFS-репликации на Windows Server 2012
Технология репликации DFS-R предназначена для организации отказоустойчивости пространства имен DFS и балансировки нагрузки между серверами. DFS-R автоматически балансирует трафик между репликами в зависимости от их загрузки и в случае недоступности одного из серверов перенаправляет клиентов на другой сервер-реплику. Но прежде, чем говорить о DFS репликации и ее настройке в Windows Server 2012перечислим основные системные требования и ограничения:
В консоли DFS Managment выберите нужный вам DFS Namespace и щелкните ПКМ по каталогу, для которого необходимо создать реплику и выберите пункт Add Folder Target.
И укажите полный (UNC) путь к сетевому каталогу другого сервера, в котором и будет храниться реплика.
На вопрос хотите ли вы создать группу репликации отвечаем Yes.
Запускается мастер настройки репликации. Проверяем имя группы репликации и каталог.
Указываем первичный (Primary) сервер. Именно этот сервер будет источником данных при инициальной (первичной) репликации.
Затем выбираем тип топологии (соединения) между членами группы репликации. В нашем примере выбираем Full Mesh (все со всеми).
И, наконец, указываем расписание репликации и параметры bandwidth throttling – ограничение доступной для репликации полосы пропускания. 
После окончания работы мастера, запуститься первоначальная синхронизация.
В случае необходимости, настройки расширенных параметры расписания репликации и максимальную полосу пропускания под данный трафик, можно задать в ветке Replication.
Обзор репликации DFS
Область применения: Windows Server 2022, Windows Server 2019, Windows Server 2016, Windows Server 2012 R2, Windows Server 2012, Windows Server 2008 R2, Windows Server 2008
Репликация DFS представляет собой службу роли в Windows Server, которая позволяет эффективно реплицировать папки (включая те, ссылка на которые указывается по пути пространства имен DFS) между разными серверами и сайтами. Репликация DFS предоставляет эффективный механизм репликации между несколькими источниками, который поддерживает синхронизацию папок между серверами, соединенными сетевыми подключениями с ограниченной пропускной способностью. Она заменяет собой службу репликации файлов (FRS) в роли подсистемы репликации для пространств имен DFS, а также для репликации папки SYSVOL доменных служб Active Directory (AD DS) в доменах с Windows Server 2008 или более поздним функциональным уровнем.
Репликация DFS использует алгоритм сжатия, называемый удаленным разностным сжатием (remote differential compression — RDC). Алгоритм удаленного разностного сжатия определяет изменение данных в файле, что позволяет репликации DFS реплицировать только измененные блоки файла, а не весь файл.
Дополнительные сведения о переходе с репликации SYSVOL на репликацию DFS см. в этой статье.
Чтобы использовать репликацию DFS, следует создать группы репликации и добавить в них реплицируемые папки. На следующем рисунке представлены группы репликации, реплицируемые папки и элементы.
На этом рисунке видно, что группа репликации представляет собой набор серверов (элементов), между которыми выполняется репликация одной или нескольких папок. Реплицируемая папка — это папка, содержимое которой постоянно синхронизируется между всеми элементами. На рисунке есть две реплицируемые папки: Projects и Proposals. При любом изменении данных в каждой реплицируемой папке все такие изменения реплицируются между элементами группы репликации по установленным подключениям. Подключения между всеми элементами формируют топологию репликации. Создание нескольких реплицируемых папок в одной группе репликации упрощает процесс развертывания реплицируемых папок, так как топология, расписание и регулирование пропускной способности для группы репликации автоматически применяются к каждой реплицируемой папке. Чтобы развернуть дополнительные реплицируемые папки, нужно с помощью программы Dfsradmin.exe или по инструкциям мастера определить локальный путь и разрешения для новой реплицируемой папки.
Каждая реплицируемая папка имеет уникальные параметры, в том числе фильтры файлов и вложенных папок, что позволяет исключать разные файлы и вложенные папки для каждой реплицируемой папки.
Реплицируемые папки, которые хранятся в каждом элементе, могут находиться на разных томах, и их не обязательно делать общими папками или включать в пространства имен. Но оснастка управления DFS позволяет легко предоставить общий доступ к реплицируемым папкам, а при желании — опубликовать их в существующем пространстве имен.
Для управления репликацией DFS можно использовать оснастку управления DFS, команды DfsrAdmin и Dfsrdiag, а также скрипты с вызовом WMI.
Требования
До начала развертывания репликации распределенной файловой системы (DFS) необходимо настроить серверы следующим образом.
Взаимодействие с виртуальными машинами Azure
Использование репликации DFS на виртуальной машине в Azure протестировано для Windows Server. Однако существуют некоторые ограничения и требования, которые необходимо соблюдать.
Дополнительные сведения о начале работы с виртуальными машинами Azure см. на веб-сайте Microsoft Azure.
Установка репликации DFS
Репликация DFS входит в роль «Файловые службы и службы хранилища». Средства управления для DFS («Управление DFS», модуль репликации DFS для Windows PowerShell, а также средства командной строки) устанавливаются отдельно в составе средств администрирования удаленного сервера.
Репликацию DFS можно установить с помощью Windows Admin Center, диспетчера сервера или PowerShell, как описано в следующих разделах.
Чтобы установить DFS с помощью диспетчера серверов
Откройте диспетчер серверов, щелкните Управление, а затем нажмите кнопку Добавить роли и компоненты. Откроется мастер добавления ролей и компонентов.
На странице Выбор сервера выберите сервер или виртуальный жесткий диск автономной виртуальной машины, на который требуется установить DFS.
Выберите службы ролей и компоненты, которые следует установить.
Чтобы установить службу репликации DFS», на странице Роли сервера выберите Репликация DFS.
Чтобы установить только средства управления DFS, на странице Компоненты разверните узлы Средства администрирования удаленного сервера, Средства администрирования ролей, Средства файловых служб, а затем выберите Средства управления DFS.
Компонент Средства управления DFS устанавливает оснастку «Управление DFS», модули «Пространства имен DFS» и «Репликация DFS» для Windows PowerShell, а также средства командной строки, но не устанавливает на сервер никаких служб DFS.
Установка репликации DFS с помощью Windows PowerShell
откройте Windows PowerShell сеанс с повышенными правами пользователя, а затем введите следующую команду, где служба роли или компонент, который требуется установить (в следующей таблице приведен список релевантных служб ролей или компонентов).
| Служба роли или компонент | Название |
|---|---|
| Репликация DFS | FS-DFS-Replication |
| Средства управления DFS | RSAT-DFS-Mgmt-Con |
Например, для установки средств распределенной файловой системы, включенных в компонент средств удаленного администрирования сервера, введите:
Для установки таких частей компонента средств удаленного администрирования сервера, как «Репликация DFS» и «Средства распределенной файловой системы», введите:
Наиболее распространенные ошибки и заблуждения при настройке DFSR
[Прим. переводчика. Материал статьи относится к Windows Server 2003/2003R2/2008/2008R2, но большинство из описанного справедливо и для более поздних версий ОС]
Всем привет! Уоррен снова здесь, и этот пост в блоге представляет собой подборку наиболее распространенных проблем DFSR, с которыми я столкнулся за последние несколько лет. Цель этого поста — перечислить распространенные ошибки в конфигурации DFSR, из-за которых возникают эти проблемы, и уберечь вас от совершения аналогичных ошибок. Знать, чего делать не следует, так же важно, как знать, что нужно делать. Многие из описанных пунктов связаны с другими темами, поэтому для углубленного изучения вопроса предоставлены соответствующие ссылки.
Слишком маленький размер квоты для промежуточной папки
Увидели в журнале много событий с кодом 4202 и 4204? В таком случае размер для промежуточной папки задан неверно. Неприятным последствием неправильно заданного размера промежуточной папки является снижение производительности репликации, так как вместо того, чтобы реплицировать файлы, служба будет тратить время на очистку промежуточной папки.
Серверы DFSR, для которых настроен достаточный размер промежуточной папки, работают более эффективно, как минимум, по двум причинам:
Не игнорируйте события журнала для промежуточной папки.
Ознакомьтесь с этим постом, в котором описано, как использовать метод определения минимального размера промежуточной папки.
Ознакомиться с разделом «Увеличение промежуточной квоты» можно здесь.
Для получения информации о cross-file RDC можно почитать статью «Сведения об удаленном разностном сжатии», размещенную здесь.
Некорректная или не оттестированная preseeding-процедура
Preseeding-процедура — это копирование данных, которые будут реплицированы на новый сервер-член репликации до их добавления в конечную папку этого сервера, с целью сокращения времени, необходимого для завершения первичной репликации. Большинство сбоев preseeding-процедуры, с которыми я сталкивался, были вызваны тремя причинами.
Щелкните здесь, чтобы прочитать блог мистера Пайла о том, как правильно организовать preseeding-процедуру ваших серверов DFSR.
Большой размер очереди копирования в течение долгого времени
Помимо того, что большая очередь копирования, существующая длительное время, означает, что ваши данные не синхронизированы, это может привести к нежелательному разрешению конфликтов, когда файл со старым содержимым выигрывает в сценарии разрешения конфликтов. Самый распространенный сценарий, при котором я сталкивался с подобным поведением, — это массовое добавление новых папок репликации. Вместо того, чтобы делать поэтапное развертывание, некоторые администраторы разом добавляли 20 новых папок для репликации из 20 разных филиалов, перегружая тем самым узловой сервер. Выполняйте развертывание поэтапно, чтобы первичная репликация завершалась за разумный промежуток времени.
DFSR используется в качестве решения для резервного копирования
Хотите верьте, хотите нет, но некоторые администраторы внедряют DFSR без автономных бэкапов реплицируемых данных. DFSR не был спроектирован как решение для резервного копирования. Одна из целей разработки DFSR — быть частью стратегии резервного копирования на предприятии, поскольку DFSR позволяет собрать ваши географически распределенные данные на централизованной площадке для последующего резервного копирования, восстановления и архивирования. С помощью нескольких членов репликации реализована защита от сбоя сервера, однако это не защитит вас от случайных удалений. Чтобы быть полностью защищенным, необходимо делать резервные копии своих данных.
Односторонняя репликация: ее использование и неверные методы исправления
В попытке предотвратить появление нежелательных обновлений на серверах, где никогда не будут изменяться данные, (или при желании предотвратить изменения на них) многие заказчики настраивали одностороннюю репликацию путем удаления исходящих подключений для членов репликации. Односторонняя репликация не поддерживается ни в одной из версий DFSR до Windows Server 2008 R2. В Windows 2008 R2 поддерживается односторонняя репликация, которая дает возможность настроить для реплицируемых папок режим «только для чтения».
Использование членов репликации в режиме «только для чтения» позволяет достичь цели односторонней репликации, которая предотвращает нежелательные изменения в реплицируемых данных. Если необходимо использовать одностороннюю репликацию с помощью DFSR, используйте Windows 2008 R2 и для тех членов, на которых не должны вноситься изменения, укажите режим «только для чтения».
Нажмите здесь и здесь, чтобы узнать о режиме репликации DFSR «только для чтения».
Еще одна распространенная проблема возникает тогда, когда администратор обнаруживает, что односторонняя репликация не поддерживается, и пытается исправить ситуацию, но делает это не так, как надо. Простое включение двухсторонней репликации обратно может иметь нежелательные результаты.
Нажмите здесь, чтобы узнать, как исправить проблему односторонней репликации.
Узловой сервер как единая точка отказа и перегруженные узловые серверы
Я видел много развертываний с единственным узловым сервером. Если этот узловой сервер выйдет из строя, то риску подвергнется все развертывание. Если вы используете Windows Server 2003 или 2008, у вас должно быть не менее двух узловых серверов, и если один из них выйдет из строя, то другой должен справиться с нагрузкой на время восстановления первого с минимальным влиянием на конечных пользователей. Начиная с Windows Server 2008 R2, можно развернуть DFSR на отказоустойчивом кластере Windows, что обеспечит высокую доступность при уменьшенной вдвое потребности в хранилище.
Рано или поздно у администраторов возникает ситуация, когда становится слишком много серверов в филиалах, настроенных на репликацию с единственным узловым сервером. Это может привести к задержкам в репликации. Понять, сколько серверных офисных серверов может обслуживать один узловой сервер, можно с помощью отслеживания очереди копирования. Не существует магической формулы, так как каждая среда уникальна и существует много зависимостей.
Прочтите раздел «Настройка топологии» здесь, чтобы узнать о развертывании узловых серверов.
Нажмите здесь, чтобы узнать, как настроить DFSR на отказоустойчивом кластере Windows Server 2008.
Слишком много папок для репликации на одну базу данных Jet
DFSR использует одну базу данных Jet на том. В результате размещение всех реплицируемых папок на одном томе приводит к размещению их всех в одной базе данных Jet. Если в этой базе возникнет проблема, требующая исправления или восстановления базы данных, то она затронет все реплицируемые папки на этом диске. [Прим. переводчика. очевидно, имеется в виду не диск (disk), а том (volume).] Правильнее будет использовать как можно больше дисков и распределить реплицируемые папки между ними, обеспечив тем самым максимальное время доступности данных.
Развертывания на основе бюджетных iSCSI-решений
Я не раз видел развертывания DFSR, где использовалось самое дешевое оборудование iSCSI. Обычно, если вы используете DFSR, то делаете это для достижения критически важных целей, таких как избыточность данных, консолидация резервных копий, доставка приложений и обновлений ОС по расписанию. Поставить себя в зависимость от низкокачественного оборудования, у которого нет нормальной поддержки от вендора, — не лучшая идея. Если для вашего бизнеса важны данные, значит, для него будет важным и оборудование, на котором работает ОС и механизм репликации.
Для службы DFSR не устанавливаются актуальные патчи
DFSR активно поддерживается корпорацией Майкрософт и для нее по мере необходимости выпускаются обновления. Обновляйте DFSR, если на момент вашего очередного цикла установки обновлений для нее есть новый релиз. Убедитесь, что ваши серверы обновлены согласно статьям базы знаний, перечисленным ниже.
Обратите внимание, что, помимо DFSR.EXE/DFSRS.EXE, перечисленные обновления предназначены также для NTFS.SYS и других файлов. Для корректной работы репликации всегда проверяйте, что самые последние версии патчей установлены как минимум для DFSR и NTFS. Другие исправления из списка в основном касаются проблем пользовательского интерфейса, и вам потребуется их установить хотя бы на тех системах, где выполняются задачи настройки DFSR.
Рекомендуется заблаговременно устанавливать патчи на сервера DFSR, даже если все работает нормально, так как впоследствии это поможет вам избежать появления уже известных проблем.
Не поддерживаются в актуальном состоянии драйверы сетевого адаптера
DFSR сможет работать нормально лишь в том случае, если сеть, которую вы ему предоставите, также работает без проблем. Использование драйверов 5-летней давности — не самое разумное решение. Я имел опыт общения с несколькими заказчиками, для которых проблемы с репликацией DFSR решились обновлением устаревшего NIC-драйвера.
Отсутствует мониторинг DFSR
Несмотря на то, что DFSR используется для перемещения, как правило, критически важных данных, многие админы не имеют представления о том, что делает DFSR, пока не столкнутся с проблемой. Те, кто понаходчивее, создают свои собственные скрипты для мониторинга очередей копирования на своих серверах, но большинство просто надеется на авось. Пакет управления для DFSR был выпущен почти год назад (а другие версии появились еще раньше). Установите его и используйте – и тогда вы сможете обнаружить проблемы и отреагировать на них до того, как они превратятся в кошмар. Если у вас нет возможности использовать пакет управления Operations Management для DFSR, то хотя бы напишите скрипт для отслеживания очереди копирования на ежедневной основе, чтобы понимать, реплицирует DFSR файлы или нет.
Нажмите здесь, чтобы получить информацию о пакете управления Operations Management для DFSR.
Обновлено 19 января 2011:
Внесение изменений в дисковое хранилище без предварительной архивации данных
Если на сервере DFSR требуется заменить жесткий диск или добавить новый для увеличения пространства хранения, крайне важно иметь актуальную резервную копию данных на случай, если что-то пойдет не так. Пойти не так может всё что угодно, чаще всего возникают события конфликтов из-за неожиданных изменений в родительской папке или случайного удаления родительской папки, которая реплицируется на всех партнеров. Необходимо создать резервную копию своих данных перед началом изменений и хранить ее до завершения проекта.
Остановка службы DFSR для временного прекращения репликации
Иногда возникает необходимость временно остановить репликацию. Правильный способ для этого – отключить репликацию для нужной группы с помощью расписания. Служба DFSR должна работать, чтобы иметь возможность читать обновления в журнале USN. Не останавливайте службу DFSR на длительный срок (дни, недели), так как это может привести к переполнению журнала (если за это время было изменено, добавлено или удалено много файлов). DFSR восстановится после переполнения журнала, но в больших развертываниях это займет много времени, и на время восстановления журнала репликация работать не будет или будет очень медленно. Также вы скорее всего будете наблюдать очень большие очереди копирования до тех пор, пока не завершится восстановление журнала.
Надеюсь, этот список вам поможет. Удачной репликации!
Уоррен “wide net” Уильямс
[Прим. переводчика. Если будет интерес читателей, постараюсь позже перевести статьи, размещенные по указанным в тексте ссылкам, а также другие статьи автора оригинала]