Скрипт копирования файлов по сети

Скрипт резервного копирования

Ценность резервного копирования ощущает каждый, кто сталкивался с потерей файлов.

Для резервного копирования можно использовать профессиональные платные продукты, например, Symantec Backup Exec Desktop and Laptop Option, а можно и самому бесплатно создать эффективный механизм резервного копирования файлов, как документов пользователя, так и служебных файлов на серверах, с помощью доступных подручных средств: командный файл и пара бесплатных программ.
Резервное копирование будет иметь следующие функции:

• копирование всех файлов некоторого каталога и его подкаталогов (полное копирование, full backup), выполняется довольно долго при большом количестве файлов
• копирование файлов, измененных после последнего резервного копирования (добавочное копирование, incremental backup) – определяется по архивному атрибуту, этот режим выполняется довольно быстро за счёт небольшого числа файлов

Реализация основана на следующих идеях:

• файлы резервных копий сохраняются в в виде ZIP файлов, это удобно для просмотра пользователями, так как на любом компьютере есть программа ZIP Folder или архиватор, поддерживающий формат ZIP
• каждая резервная копия сохраняется в отдельном файле, в названии файла указывается дата снятия копии, это облегчает поиск нужной редакции восстанавливаемого файла

Для создания ZIP файлов потребуется программа-архиватор с интерфейсом командной строки, например, 7-ZIP.

Предположим, что нам потребуется создавать резервные копии документов пользователя (%USERPROFILE%\Documents) и сохранять их на файловом сервере, где выделены папки для резервных копий каждого пользователя \\FILESERVER\Backup\%USERNAME%

Полное резервное копирование (FULLBACKUP.CMD)

Командный файл полного резервного копирования определяет имя файла по текущей дате, например, fullbackup_20130222.zip для 22 февраля 2013 года и вызывает архиватор:

@echo off set files_folder=%USERPROFILE%\Documents set backup_folder=\\FILESERVER\Backup\%USERNAME% set backup_filename=%backup_folder%fullbackup_%date:~-4%%date:~3,2%%date:~0,2%.zip 7z.exe a -r «%backup_filename%» «%files_folder%\*»

Предполагается, что программа 7-ZIP уже установлена на компьютере, и путь к её файлам прописан в переменной PATH. Если нет, необходимо добавить в последнюю строку путь к файлу.

В результате, на файловом сервере будет создан файл fullbackup_20130222.zip с файлами пользователя. Пользователь может в любой момент открыть файл резервной копии на сервере и извлечь интересующий файл.

Добавочное резервное копирование (INCBACKUP.CMD)

Отличие добавочного копирования состоит в том, что необходимо добавлять в ZIP не все файлы, а только те, которые имеют установленный архивный аттрибут («файл готов для архивирования»). Для этого используем программу DIR с необходимыми параметрами, сохраняя вывод в файл:

dir %files_folder% /A:A /B /S > «%list_filename%»

Необходимо запускать команду из Unicode среды (команда cmd /u incbackup.cmd), чтобы корректно обработать файлы, в названии которых есть символы из расширенного набора.

Следующим шагом необходимо подготовить сформированный список файлов для 7-ZIP:

• преобразовать кодировку из UTF-16 в UTF-8 (требуется для 7-ZIP),
• убрать из путей файлов начальную часть пути к каталогу

Это можно сделать одним запуском программы nhreplace:

nhrplc -spt:»%files_folder%» -t:»» -cp:auto,utf8 «%list_filename%»

Остаётся добавить назначение переменных и удаление файла списка после записи файла резервной копии, итоговый командный файл для добавочного копирования будет выглядеть так:

@echo off set files_folder=%USERPROFILE%\Documents\ set list_filename=%USERPROFILE%\local settings\temp\backup-list.txt set backup_folder=\\FILESERVER\Backup\%USERNAME% dir %files_folder% /A:A-H /B /S > «%list_filename%» nhrplc -spt:»%files_folder%» -t:»» -cp:auto,utf8 «%list_filename%» set backup_filename=%backup_folder%incbackup_%date:~-4%%date:~3,2%%date:~0,2%.zip pushd «%files_folder%» 7z.exe u «%backup_filename%» @»%list_filename%» dir /A:A-H-S /B /S | attrib -A /s popd del «%list_filename%»

Также в файле присутствуют команды pushd-popd для перехода в каталог копируемых файлов и обратно. Перемещение в этот каталог необходимо для нормальной работы 7-ZIP со списком. В зависимости от того, как запускается командный файл и нужно ли возвращаться в исходный каталог, можно оставить пару pushd-popd, или ограничиться командой cd «%files_folder%»

Поскольку 7-ZIP не имеет функции сброса атрибута файла, для этого можно использовать команду attrib.

Использование

Созданные командные файлы fullbackup.cmd и incbackup.cmd можно запускать как вручную, так и по расписанию.
Например, файл incbackup.

cmd можно запускать и несколько раз в день, хоть каждый час, и он будет обновлять файл резервной копии текущего дня по мере того, как пользователь вносит изменения в свои документы, при этом время резервного копирования будет небольшим.

При этом пользователю будут доступны сделанные копии по дням, и он сможет сам, без участия администратора, восстанавливать не только определённый файл, но и различные его редакции (по датам).

Этот скрипт подходит для конфигурации, когда компьютер имеет высокоскоростное подключение к серверу, так как скрипт обрабатывает ZIP файл резервной копии, находящийся на файловом сервере.

Скрипт резервного копирования

Источник: https://nhutils.ru/blog/%D1%81%D0%BA%D1%80%D0%B8%D0%BF%D1%82-%D1%80%D0%B5%D0%B7%D0%B5%D1%80%D0%B2%D0%BD%D0%BE%D0%B3%D0%BE-%D0%BA%D0%BE%D0%BF%D0%B8%D1%80%D0%BE%D0%B2%D0%B0%D0%BD%D0%B8%D1%8F/

Как написать свой bat файл для создания резервной копии — Заметки Сис.Админа

Сегодня мы узнаем про то, что такое bat файл и заодно создадим один из них.

Думаю, что многие, так или иначе, периодически создают резервные копии (так называемые backup-ы) тех или иных файлов и папок.

Вроде все привычно и делать ничего особо сложного не надо: вставить флешку, открыть «Мой компьютер», найти что надо скопировать, выделить, тыкнуть мышкой, выбрать «скопировать», перебраться в нужный каталог, тыкнуть «вставить» и тд.

Но зачастую все эти клики и лишние телодвижения несколько утомляют и отнимают ценное время, особенно при частых копированиях одних и тех же данных. В этой статье я расскажу как автоматизировать этот процесс посредством консоли, а точнее написания такой штуки как bat файл.

Поехали.

Для начала немного о том, что такое bat файл, зачем он нужен и с чем его (или их) едят. Дабы не изобретать велосипед воспользуюсь выдержкой из Википедии:

Пакетный файл (т.е bat файл, от англ. batch file) — текстовый файл в MS-DOS, OS/2 или Windows, содержащий последовательность команд, предназначенных для исполнения командным интерпретатором.

После запуска пакетного файла, программа — интерпретатор (как правило COMMAND.COM или CMD.EXE) читает его строка за строкой и последовательно исполняет команды.

Пакетный файл — аналог shell script в Unix-подобных операционных системах.

Примерами таких операций могут служить — обработка текстовых файлов; копирование, перемещение, переименование, удаление файлов; работа с папками; архивация; создание резервных копий баз данных и т. п.

Пакетные файлы поддерживают операторы if и goto (а в системах семейства Windows NT и расширенный оператор for), что позволяет обрабатывать результаты выполнения предыдущих команд или приложений и в зависимости от этого выполнять дальше тот или иной блок команд (как правило, в случае удачного завершения приложение возвращает 0 в переменной errorlevel; в случае неудачного — 1 или большее значение).

Пакетные файлы в DOS имеют расширение .bat; для других операционных систем они могут иметь другие расширения — например, .CMD в Windows NT и OS/2, или .BTM в 4DOS или подобных оболочках.

С теорией разобрались, приступим к, собственно, практике, а именно созданию bat-ника.

Давайте подготовим небольшое тестовое поле, чтобы было на базе чего экспериментировать. Откройте мой компьютер и создайте на диске C:\ папочку test. Зайдите в неё и создайте в ней папку testcopy.

Накидайте туда файлов (штук 5-10) — фотки, документы и тд и тп (любых короче). Поле для экспериментов готово. Далее нам надо создать, собственно, сам bat файл по нажатию на который у нас будет происходить копирование папки C:\test\testcopy в, скажем, папку C:\test\backup. Создавать вторую папку (которая backup) не надо — она будет появляться автоматически.

Задаем созданному файлу название и открываем его блокнотом или любым другим текстовым редактором. Т.е. на данный момент мы имеем открытый текстовый файлик, который называется, допустим, копирование.txt.

Добавляем в файл команду, например, для копирования

Далее, собственно, нам в этот файлик нужно ввести команду, которая будет воспроизводиться по средством консоли (cmd) при запуске этого файла. В данном случае мы воспользуемся командой xcopy ибо именно она позволяет копировать файлы, каталоги и подкаталоги. Учитывая все пути у нас получится следующая команда:

xcopy C:\test\testcopy C:\test\backup /f /i /y /s

Разъясняю что тут к чему:

• xcopy — это сама команда;
• C:\test\testcopy — это источник, т.е. папка откуда копируются файлы и каталоги;
• C:\test\backup — это результат, т.е. место, куда будут скопированы файлы и каталоги;
• /f /i /y /s — дополнительные параметры синтаксиса для команды xcopy (см.синтаксис ниже по тексту).

Количество строчек может быть любым, т.е. если Вам надо скопировать 100 папок, Вы пишете 100 строчек в одном файле и меняете в них только пути.

Далее, касательно синтаксиса (какие дополнительные параметры есть, какие можно дописать и зачем они нужны).

Какие есть (т.е. те, что я указал в данном примере):

• /f — выводит имена исходных файлов и файлов-результатов в процессе копирования
• /i — создает новый каталог в случае, если тот отсутствует в конечном пути
• /y — перезаписывает файл в случае, если он уже есть
• /s — копирует каталоги и подкаталоги, если они не пусты. Если параметр /s не задан, команда xcopy будет работать только с одним каталогом.

Как по мне — это основной список параметров необходимых для «тихого» копирования, т.е. без лишних вопросов о перезаписи, создания каталогов и прочей шушеры. Касательно остального синтаксиса можно почитать, например, тут.

Далее нам надо сменить формат файла с txt на bat. Делается это следующим образом.

Меняем формат файла и пробуем его запустить

Сначала открываем «Мой компьютер», там переходим «Сервис» — «Свойства папки» — «Вид» и снимаем галочку «Скрывать расширение для зарегистрированных типов файлов».

Жмем «Применить» и «Ок». Теперь мы можем менять расширение известных системе файлов, а посему направляемся к нашему файлику, жмем правой кнопкой мышки, выбираем «Переименовать» и методом печатания на клавиатуре меняем расширение с txt на bat (на вопрос системы стоит ли это делать отвечаем утвердительно).

В результате мы имеем следующую картину (в вашем случае файлик называется иначе, но имеет тот же формат):

Собственно, все, что нам остается — это запустить этот файл простым кликом по нему мышки.

Если Вы все сделали правильно, то перед Вами промелькнет консоль и по известному пути появится новая папочка с заданным заранее названием и файлами внутри скопированными из известной Вам папки, т.е картина получится примерно следующая:

Ну или несколько другая, в зависимости от того какие пути и названия папок Вы прописывали в команде.
Отредактировать файлик можно сменив ему расширение обратно на .txt и открыв любым текстовым редактором.

Как я уже сказал и Вы сами наверное осознали — использование подобного bat файл 'а зачастую экономит кучу времени, т.е. один раз написал и периодически запускаешь одним кликом и вместо многоминутных тычков мышкой и ползания по всем папкам получаешь автоматизированный процесс копирования.

Если есть какие-то вопросы или проблемы — спрашивайте. Как всегда помогу чем смогу 😉

PS: Если мне не изменяет память, то это кусочек темы из умных админских книжек, а именно из раздела «Автоматизация администрирования».. так что можете собой гордится 🙂

Источник: https://sonikelf.ru/avtomatizaciya-sozdaniya-rezervov-ili-konsolnye-osnovy-bat-niki/

Копирование больших файлов по сети с помощью BITS и PowerShell

В локальных (да и глобальных) сетях файлы между системами обычно передаются с помощью протоколов SMB, FTP или HTTP. Проблема всех этих протоколов – сложности с докачкой больших файлов, которые могут усугубляться проблемами передачи данных по медленному или нестабильному каналу.

При копировании файлов по этим протоколам обычно задействуется вся доступная пропускная способность канала связи между сервером и получателем, что может негативно сказаться на производительности сети и работе других приложения (не всегда возможно настроить корректные политики QoS на уровне сетевого оборудования).

В этой статье мы рассмотрим возможность использования протокола BITS и командлетов PowerShell для копирования больших файлов через сеть по нестабильному или медленному каналу.

Протокол BITS

BITS или Background Intelligent Transfer service — (Фоновая интеллектуальная служба передачи) – это служба Windows, которая используется для передачи файлов между системами.

С помощью протокола BITS можно передавать как скачивать, так и закачивать файлы. Именно по этому протоколу компьютеры скачивают файлы с серверов при выполнении автоматического обновлении Windows (в т.ч.

при скачивании обновлений со WSUS сервера), при получении программ с SCCM точек распространения и т.д.

Преимущества протокола BITS:

• BITS — интеллектуальный протокол, который при работе способен регулировать используемую полосу канала связи, чтобы не оказывать влияния на другие сетевые приложения и сервисы. BITS может использовать только незанятую полосу пропускания канала и динамически изменять скорость передачи данных в процессе работы (если другие приложения увеличат нагрузку на сеть, BITS может уменьшить скорость передачи данных по сети);
• Загрузка файла может идти в фоновом режиме, незаметно для пользователя;
• Задание BITS в режиме докачки будет автоматически продолжено даже в случае обрыва канали связи между компьютером и клиентом, или после перезагрузки компьютера;
• В любой момент вы можете приостановить или возобновить загрузку по BITS без потери данных;
• BITS позволяет управлять приоритетами задач загрузки;
• Передача файлов между компьютерами происходит по портам 80 (HTTP) или 443 (HTTPS), поэтому вам не придется открывать дополнительных портов на межсетевых экранах. Например, 445 порта, по которому идет копирование при использовании протокола SMB (не забудьте, что в старых версиях протокола SMB 1.0 много уязвимостей);
• На стороне получателя и сервера не обязательно требуется наличие развернутого IIS сервера.

Таким образом, BITS является оптимальным протоколом для передачи больших файлов по медленным и нестабильным сетям (спутниковый канал, GPRS соединение и т.д.).

BITS: требования к ОС и версии PowerShell

Протокол BITS впервые был представлен еще в Windows XP, для управления заданиями BITS в которой можно было использовать утилиту bitsadmin.exe. Утилита все еще поддерживается, однако считается устаревшей. Для управления заданиями BITS предпочтительно использовать специальные командлеты PowerShell.

Для работы по рассматриваемому сценарию нам потребуется ОС не ниже Windows Vista или Windows Server 2008, и PowerShell не ниже версии 2.0. Современные версии Windows 10 и Windows Server 2016 / 2012 R2 протокол BITS полностью поддерживают.

Поддержка BITS требуется как на стороне клиента, так и сервера.

Как скачать файл по протоколу BITS с помощью PowerShell

Предположим вы хотите скачать большой ISO файл, хранящийся на HTTP сервере IIS (http://10.2.2.148/erd65_32.iso).

Предполагается, что к данному URL адресу разрешен анонимный доступ (в дальнейшем мы рассмотрим доступ к URL адресу с аутентификацией).

В первую очередь загрузите в сессию PowerShell модуль поддержки BITS:

Import-Module BitsTransfer

После загрузки модуля, вы можете вывести список всех доступных команд модуля BitsTransfer:

get-command *-BITS*

Как вы видите, доступно всего 8 командлетов:

• Add-BitsFile
• Complete-BitsTransfer
• Get-BitsTransfer
• Remove-BitsTransfer
• Resume-BitsTransfer
• Set-BitsTransfer
• Start-BitsTransfer
• Suspend-BitsTransfer

Синхронная передача файлов между компьютерами с помощью BITS

Командлет Start-BitsTransfer позволяет скачивать файлы по HTTP(s) (как и комадндет Invoke-WebRequest), так и из общих сетевых папок (по SMB).  Чтобы скачать файл с указанного URL адреса по протоколу BITS и сохранить его в локальный каталог C:\Temp, воспользуйтесь командой:

Start-BitsTransfer –source  http://10.2.2.148/erd65_32.iso -destination c:\temp

Сообщение This is a file transfer that uses the Background Intelligent Transfer service (BITS) говорит о том, что начато скачивание указанного файла по протоколу BITS.

В данном примере командлет выполняет загрузку файла в синхронном режиме. Закачка файла напоминает обычную процедуру копирования через проводник или с помощью PoSh командлета Copy-Item. При это на экран выводится прогресс бар, отображающий статус выполнения закачки. При перезагрузке компьютера, закачка возобновлена не будет (вам заново скачивать весь файл).

Используем BITS для асинхронного копирования больших файлов по сети

Процесс загрузки файлов через BITS можно запустить и в асинхронном режиме, для этого к рассмотренной выше команде нужно добавить параметр –asynchronous. В этом режиме, если что-то случится в процессе загрузки файла (перезагрузка сервера, клиента, обрыв канала связи и пр.), задание автоматически продолжится после восстановления доступности источника и загрузка файла продолжится с момента прерывания связи.

Start-BitsTransfer -source http://10.2.2.148/erd65_32.iso -destination c:\temp -asynchronous

Асинхронное задание BITS выполняется в фоновом режиме, а на экран не выводится процесс выполнения команды загрузки файла. Статус задания BITS можно получить из консоли PowerShell с помощью команды Get-BitsTransfer:

Get-BitsTransfer | fl

Команда возвращает статус передачи (в данном случае видно, что передача окончена -Transferred), информацию о количестве переданных байт, общем размере файла, времени создания и завершения задания BITS.

Вы можете просмотреть статус всех заданий BITS, запущенных на компьютере, в табличной форме:

Get-BitsTransfer | select DisplayName, BytesTotal, BytesTransferred, JobState | Format-Table -AutoSize

При использовании асинхронного режима передачи, в целевом каталоге создается временный файл с расширением TMP (по умолчанию скрыт в проводнике). Чтобы конвертировать его в исходный тип файла (который хранится на сервере-источнике), нужно выполнить команду Complete-BitsTransfer:

Get-BitsTransfer | Complete-BitsTransfer

Задание загрузки BITS после этого считается завершенным и пропадает из списка заданий.

Вы можете загрузить локальный файл в общую сетевую папку на удаленном сервере. Для этого используется следующая команда (для удобства можно указать имя задания копирования):

Чтобы временно приостановить задание BITS, выполните:

Get-BitsTransfer -Name CopyISOtoEKT | Suspend-BitsTransfer

Для продолжения задания используется командлет Resume-BitsTransfer:

Get-BitsTransfer -Name CopyISOtoEKT | Resume-BitsTransfer -Asynchronous

Вы можете добавить в задание BITS дополнительные файлы с помощью командлета Add-BitsFile:

Get-BitsTransfer -Name CopyISOtoEKT | Add-BitsFile -Source C:\iso\w10msu\* -Destination \\ekt-fs1\iso -Asynchronous

Чтобы удалить все задания загрузки BITS на компьютере (в том числе запущенные другими пользователями), выполните команду:

Get-BitsTransfer -Allusers|Remove-BitsTransfer

Если сервер, на котором хранится файл, требует аутентификации пользователя, вы можете вызвать окно, в котором нужно указаны учетные данные для доступа к ресурсу:

Start-BitsTransfer -source http://10.2.2.148/erd65_32.iso -destination c:\temp -asynchronous -Priority low -Authentication NTLM -Credential Get-Credential

Чтобы было удобнее отслеживать результаты выполнения задания BITS, можно воспользоваться простым скриптом, который отслеживает выполнение задания и раз в несколько секунд выводит процент выполнения загрузки на экран. По окончании загрузки файла, скрипт автоматически преобразует TMP файл в исходный формат:

Import-Module BitsTransfer$job = Start-BitsTransfer -Source http://10.2.2.148/erd65_32.iso -Destination c:\temp -Asynchronouswhile( ($job.JobState.ToString() -eq 'Transferring') -or ($job.JobState.ToString() -eq 'Connecting') ){Write-host $Job.JobState.ToString()$Pro = ($job.BytesTransferred / $job.BytesTotal) * 100Write-Host $Pro “%”Sleep 3}

Complete-BitsTransfer -BitsJob $job

Копирование всего содержимого общей сетевой папки через BITS

Как мы уже говорили, для работы BITS не нужен Web сервер, это означает, что вы можем скопировать файлы непосредственно с других Windows-компьютеров или общих сетевых папок:

Start-BitsTransfer -Source \\msk-rep01\os\rhel-server-7.0-x86_64-dvd.iso -Destination c:\temp -Asynchronous

Командлеты модуля BitsTransfer не умеют рекурсивно копировать все файлы и папки из определённой директории, или файлы, которые используются другими программами. Чтобы из указанной сетевой папки скопировать все файлы с подкаталогами, воспользуемся такой функцией (можно предварительно проверить, существует ли целевой каталог и создать его):

ToString() -eq 'Connecting') ){Sleep 3}Complete-BitsTransfer -BitsJob $jobforeach ($i in $folders){$exists = Test-Path $Destination\$iif ($exists -eq $false) {New-Item $Destination\$i -ItemType Directory}$job = Start-BitsTransfer -Source $Source\$i\*.* -Destination $Destination\$i -asynchronous -Priority lowwhile( ($job.JobState.ToString() -eq 'Transferring') -or ($job.JobState.

ToString() -eq 'Connecting') ){Sleep 3}Complete-BitsTransfer -BitsJob $job}

Загрузка файла на HTTP сервер с помощью PowerShell и BITS

С помощью BITS вы можете не только скачать файл с HTTP сервера, но и загрузить его на удаленный веб сервер.

Для этого на стороне получателя должен быть установлен веб сервер IIS с установленным компонентом Bits Server Extension.

В настройках виртуального каталога IIS в секции Bits Uploads нужно включить опцию «Allow clients to uploads files».

Если вы используете анонимную авторизацию, необходимо разрешить анонимным пользователям запись в каталог на уровне NTFS. Если загрузка файлов выполняется под авторизованными пользователями, им необходимо предоставить RW разрешения на папку загрузки.

Чтобы загрузить файл на HTTP сервер с помощью протокола BITS, выполните команду:

Start-bits –source c:\iso\win2016.iso -destination http://10.10.1.200/MEDVImages/win2016.iso  –Transfertype Upload

Таким образом, использование возможностей BITS представляет собой отличную альтернативу традиционному копированию файлов по сети по протоколу SMB. В отличии от последнего, задание копирования файлов BITS выполняется несмотря на разрывы связи и перезагрузки компьютеров, и не так загружает канал связи, не мешая работе других сетевых приложений и пользователей. Протокол BITS может быть оптимальным решением для передачи по WAN сети больших файлов ISO образов и файлов виртуальных машин (vmdk, vhdx).

Источник: http://winitpro.ru/index.php/2015/12/03/kopirovanie-fajlov-po-protokolu-bits-s-pomoshhyu-powershell/

BASH скрипт резервного копирования WEB сервера

Резервное копирование должно быть таким, чтобы Вы в любой момент могли сменить хостера и переехать на новый сервер. Поэтому весь процесс создания архивов должен быть автоматизирован. А файлы бэкапов должны лежать в надежном месте с возможностью круглосуточного доступа из любой точки планеты.

Публикую очередное решение по резервному копированию вебсервера. Этот bash скрипт создает единый архив базы данных и всех файлов сайта. Для удобства на диске локально хранится 30 последних резервных копий. А для надежности архивы резервных копий выкладываются на облачное хранилище Яндекс.Диск.
Подобных решений полно в сети. Но данный скрипт наиболее полно отражает мое видение резервного копирования web-серверов.

Основные принципы резервного копирования

Архивы делаем встроенными средствами операционной системы, чтобы облегчить процесс создания архива и ускорить восстановление сайта на новом сервере при необходимости.Используем форматы архивом, которые позволяют сохранить все атрибуты файлов и папок. Чтобы получить точную копию сайта на новом месте.Отдельно архивируем со сжатием базу данных и директорию веб-сервера со всеми файлами.

А потом объединяем в единый архив уже без сжатия. Имя архива для удобства формируем на основании имени домена и даты его создания.Организуем локальное хранилище из 30-ти последний архивных копий. Чтобы была возможность «откатить» сайт в предыдущее состояние на случай непредвиденных ситуаций. К примеру при заражения вирусами. Или неудачном обновлении CMS.

Организуем независимое хранилище резервных копий в облачном хранилище Яндекс.Диск и выкладываем туда наши архивы.

BASH скрипт резервного копирования файлов сайта и базы данных MySQL

#!/bin/bash # #ver 1.0 #2013-09-09 # #Переменные Базы данных DBHOST=»localhost» #Адрес MySQL сервера DBUSER=»bd_user» #Имя пользователя базы данных DBPASS=»dBpAsS» #Пароль пользователя базы данных DBNAME=»db_name» #Имя базы данных DBARC=$DBNAME.sql.gz #Имя архива базы данных # #Переменные WEBDAV WEBDAVURL=»https://webdav.yandex.ru/backup/» #Адрес Яндекс.Диск. Папка должна существовать! WEBDAVUSER=»my-mail-login@yandex.ru» #Имя пользователя от Яндекс.Диска (Яндекс.

Почты) WEBDAVPASS=»MyPasWordAtYandexMail» #Пароль от Яндекс.Диска # #Переменные сайта SCRIPTDIR=»/home/serveruser/backup/» #Абсолютный путь откуда запускается скрипт и где храняться архивы SCRDIR=»/home/serveruser/web/mydomain.com/public_html/» #Абсолютный путь к сайту от корня диска SCREXCLUDE=»webstat» #Что не попадет в архив SCRARC=»public_html.tar.gz» #Имя архива файлов сайта # #Переменные Резерных копий ARCNAME=»mydomain.com»=$(date '+%F(%H:%M)')».

tar» #Имя архивной копии сайта ARCMAX=»30″ #Количество файлов в локальном хранилище # #Переходим в корневую директорию вебсервера cd $SCRDIR # #Создаем файловый архив со сжатием, учитываем исключения tar cfz $SCRIPTDIR$SCRARC —exclude=$SCREXCLUDE * # #Возвращаемся в папку со скриптом, где лежат все архивы cd $SCRIPTDIR # #Архивируем базу данных со сжатием mysqldump -h$DBHOST -u$DBUSER -p$DBPASS $DBNAME | gzip > $DBARC # #Объединяем файловый архив и дамп базы данных, теперь уже без сжатия tar cf $SCRIPTDIR$ARCNAME $SCRARC $DBARC # #Отправляем результат в Яндекс.Диск curl —user $WEBDAVUSER:$WEBDAVPASS -T $ARCNAME $WEBDAVURL # #Убираем промежуточные архивы rm *.gz # #Удаляем старые копии сайта, оставляем несколько свежих копий ls -t *.tar | tail -n+$ARCMAX | xargs rm -f

Теперь разберем скрипт по полочкам. С переменными указанными в начале скрипта все понятно. Я постарался максимально отделить мух от котлет и все необходимое прокомментировал.
Перейдем к исполняемой части скрипта.

Рекомендую прочесть:  Резервная копия сайта в Яндекс.Диск

Как создать архив файлов сайта

C созданием архива проблем, как правило, нет. Главное не запутаться с абсолютными и относительными путями. Чтобы быть уверенными, что вы архивируете и где сохраняете.

Чтобы избежать полных абсолютных путей в архиве предварительно перейдем в корневую директорию сайта.
Я так не люблю, раскрываешь архив, а там папка home, заходишь в нее, а там еще одна, ты в нее, за ней следующая и так далее, короче матрешка.

Замучаешься до содержимого добираться.
Поэтому перед созданием архива выполним команду:

cd $SCRDIR

Подробнее о всех параметрах tar можно почитать в официальном мануале здесь.

Как создать резервную копию базы данных MySQL

Для получения дампа базы данных нам понадобятся параметры доступа к ней. Все они описаны в переменных скрипта и не должны вызвать затруднений. Для уменьшения размера файла сжимаем вывод утилиты mysqldump. Я использую gzip, который в *NIX-ах присутствует по-умолчанию.

Если у Вас используется старая версия MySQL сервера, до 4.1, то на базах большого объема может пригодиться параметр —quick. Использование которого указывает команде mysqldump сразу писать дамп базы на диск, а не кэшировать его в памяти.

В более свежих версиях этот параметр включен по-умолчанию.

Чтобы решение было изящным, объединим два архива файлов сайта и дампа базы данных в один архив. Только теперь уже без сжатия, так как каждый из них мы их предварительно пропустили через gzip.
Для удобства имя файла составим из имени используемого домена и времени создания.

Рекомендую прочесть:  Как сохранить и восстановить базу MySQL

Как сохранить резервную копию сайта в Яндекс.Диск

В качестве облачного хранилища совсем не обязательно должен выступать Яндекс.Диск. Вы можете использовать, к примеру, Microsoft SkyDrive или любой другой сервис, использующий для доступа протокол WebDAV.

Как убрать старые копии файлов, сохранив несколько последних

В конце скрипта уберем ненужные файлы, это архивы файлов и базы данных и ограничим количество архивный копий сайта.
Осуществим поиск устаревших резервных копий и при наличии таковых их удалим. За это отвечает нижеследующий код:

ls -t *.tar | tail -n+$MAXARC | xargs rm -f

Как это работает? По команде ls ищутся архивы (файлы с расширением tar), вывод формируется по времени создания файла. Далее команда tail фильтрует список вырезая из него 30 первых. А остаток передается команде rm на удаление.

Параметр f у нее служит для «молчания» в случае, если нечего удалять. Такое бывает, когда Вы только начали собирать резервные копии и их число не превышает значение переменной $MAXARC.

По совести говоря, после выполнения данной команды в «живых» останется только 29 резервных копий.

Запуск скрипта резервного копирования

Сохраняем скрипт, к примеру backup.sh. И присваиваем ему права на исполнение:

#chmod +x backup.sh

Удобнее всего использовать CRON для запуска скрипта по расписанию. Я создаю резервные копии раз в сутки в часы наименьшей нагрузки, то есть во второй половине ночи под утро.
Не забываем про владельцев папок и файлов, когда будем запускать скрипт на исполнение. Ведь файлы пользователя VASYA будут недоступны, если запустить скрипт от имени пользователя PETYA.

Результаты работы скрипта резервного копирования

Каждый день в 6 утра на сервере создается резервная копия сайта (файлы плюс база данных) и отправляется в облачное хранилище Яндекс.Диск.При написании статьи в качестве тестовой площадки выступал реальный сервер, на котором работает этот блог. На сервере используется CentOS 6.

4 со всеми обновлениями на начало сентября 2013.

Замечания и пожелания по работе скрипта приветствуются. В планах реализовать ограничение по количеству резервных копий не только на сервере, но и в облаке Яндекс.Диск. Пока же накопившееся со временем архивы приходится вычищать вручную.

Поделись этой страницей с друзьями!

Источник: https://moonback.ru/page/bash_backup