Colan KVM
ENGLISH

KVM-СИСТЕМЫ УПРАВЛЕНИЯ IT-ИНФРАСТРУКТУРОЙ ЦОД
ОБОРУДОВАНИЕ УПРАВЛЕНИЯ И МОНИТОРИНГА ЭЛЕКТРОПИТАНИЯ
СИСТЕМЫ ДЛЯ СОЗДАНИЯ И ТРАНСЛЯЦИИ АУДИО-ВИДЕОКОНТЕНТА
ВИДЕОСТЕНЫ, ОФИСНО-ТЕХНИЧЕСКАЯ МЕБЕЛЬ
Форум
ПРОФЕССИОНАЛАМ -
БЕЗОГОВОРОЧНЫЕ СКИДКИ

(495) 363-0131 | 4:05 MSK
(495) 785-5590 схема проезда
e-mail: inf@colan.ru

Прайс-лист

Основной

Распродажа - Sale!

Акция - Супер цена!

 Популярные товары:

KVM переключатели, IP KVM

KVM переключатели с LCD консолями

Интерфейсные удлинители

Система видеотрансляции "TNTv Digital Signage"

Офисная, техническая мебель

Услуги

Сервисное обслуживание продукции ATEN

Что почитать?

Техническая
поддержка

Моральная
поддержка

Техника и
здоровье

Общение

Форум

О проекте

О компании

Новости

Рассылка

Для клиентов

Как нас найти

Поиск:




Вход:

логин:

пароль:



Корзина:

товаров:

на сумму:

0.00 р.

  



Яндекс цитирования




 Как я создавал домашнюю сеть

подписка на анонсы статей и новостей

подписка на анонсы статей и новостей

версия для печати

версия для печати

www.colan.ru

Техническая поддержка

Компьютерная сеть

Домашние сети

Как я создавал домашнюю сеть

Дата публикации на сайте: 10-08-2004

Сисадмина спрашивают:
  - чтобы ты сделал если бы у тебя был миллион баксов ?
  - я бы построил крутую сетку с гигабитными каналами и терабайтными серваками. И администрировал бы ее для души...

Все начиналось с обычной домашней коллекции аудио и видео файлов, которая есть практически у каждого владельца компьютера. Постепенно она разрослась до таких неприличных размеров что жестких дисков основного моего рабочего компьютера уже перестало хватать. Удалять что либо было жалко, а сохранять на CD или DVD оказалось не совсем неудобно. Во первых mp3 файлы у меня регулярно обновляются (например правлю тэги или заменяю на файлы с лучшим битрэйтом). А во вторых получение доступа к файлу на CD или DVD занимает утомительно много времени. Поэтому на первом этапе несколько лет назад мне пришлось собрать под эту коллекцию отдельный компьютер, который тогда по праву уже можно было назвать файл-сервер. Массив состоял из шести дисков WD по 80 Гб в софтверном RAID5, смонтированным средствами Win 2000 server. Корпус рэковый, высотой 4U. Я отлично понимал что одним этим сервером дело не ограничится и планировал в отдаленной перспективе собрать нормальную рэковую стойку. Правда и до сих пор эта мечта не осуществлена. Итак сервер был установлен дома, на застекленном балконе и был запущен на круглосуточную работу. Коллега по работе подарил старый UPS APC smart 650 с убитыми батареями. Вместо них я подключил два полудохлых АКБ по 96 ампер/часов от дизельного мерседеса и теперь сервер был надежно защищен от диверсий пьяных электриков, которые регулярно отключают свет в доме от нескольких секунд до нескольких часов. Заодно от этой UPS был запитан свич CNet на 100 мбит, радиотелефон Panasonic, АОН и квартирная система видеонаблюдения, которая уже восемь лет показывает мне все что происходит за входной дверью. Через некоторое время место на сервере опять кончилось и пришлось опять наращивать массив. Потом кончилось место для установки новых дисков и пришлось менять корпус. И так по кругу...

После того как до моего дома дотянулась локальная районная сеть и я стал ее пользователем, выяснилось что у меня одна из самых больших в районе частных коллекций фильмов и музыки, да еще с круглосуточным свободным доступом. А надо отметить что что эта сеть охватывает весь север Москвы (она состоит из нескольких отдельных сетей, связанных между собой гигабитными межсетевыми линками). Я не жмот и мне не жалко было предоставить содержимое моей коллекции для публичного доступа. Однако моя супруга (которая сама постоянно слушала mp3-шки с сервера и смотрела фильмы) заявила что ей надоел вечный шум от стоящего на балконе сервака и поставила классическое условие: "или я или он" :-)). Расставаться ни с тем, ни с другим я не планировал, поэтому пришлось искать новое место для создания "серверной". И оно было найдено! Наша районная локальная сеть имеет полный комплект разрешительных документов и лицензий для свой деятельности, а также договора с префектурой на размещение сетевого оборудования на чердаках домов. А еще нам попалось компьютерно-образованное руководство местного РЭУ, которое с пониманием относилось к нашим проблемам. Таким образом выступая под прикрытием местной локальной сети я получил разрешение на организацию серверного помещения на чердаке своего дома в своем же подъезде. Дальше началось сплошное творчество и "рукоприкладство". Руководство сети пообещало мне выделить железный ящик под сервера. Но во первых выяснилось что этот ящик по габаритным размерам не проходит через люк, ведущий на чердак. Во вторых меня не устроило качество его изготовления. Поэтому я решил делать ящик сам, именно какой нужен мне. Из стальных трехмиллиметровых листов и 35-мм уголка я сварил каркас. Приварил сейфовые петли, внутренние скобы и распорки для защиты от спиливания, установил пару сейфовых замков. Через несколько дней колдовства в гараже серверный шкаф был готов. Итоговая себестоимость всех материалов для ящика на тот момент составила 2500 руб или около 80 $.

А вот дальше начались обломы. Выяснилось что ящик не влезает в лифт и с двумя помощниками его пришлось поднимать на руках по лестнице на 10-й этаж. А ведь даже со снятой дверцей его вес составил около 130 кг! В чердачный люк он прошел успешно, но дальше меня ждала очередная моя проектная ошибка. Через чердачный люк он пролезал только лежа, а чтобы теперь поставить в нормальное рабочее положение нужно сперва поставить его на ребро. Вот тут-то и выяснилось что наменьшая диагональ ящика на 60 мм превышает высоту потолка на чердаке. Выхода было два: или распиливать ящик, для чего его пришлось бы опять спускать вниз и везти в гараж; либо расширять чердак. При всей своей комичности это оказалось единственно верное решение. Я немного подпилил болгаркой ребра плит перекрытия и выдолбил канавку в керамзито-бетонном полу чердака. В результате "выжал" нужные миллиметры и ящик встал на положенное ему место. А следы разрушений чердака я забетонировал. Так что за сохранность ящика я теперь спокоен - без разрушения чердака его не вынесут :-) Кстати к кирпичной стене ящик прикручен анкерными болтами и фактически он висит над полом.

Еще на этапе проектировании ящика я уделял большое внимание вентиляции оборудования. Вытяжное охлаждение реализовано у меня так: вдоль задней части боковых стенок выпилены четыре отверстия, там установлены компьютерные вентиляторы 120 мм, 12 В. Отверстия заделаны металлическими решетками с нейлоновыми сетками (чтобы насекомые не пролезли). Для осени и зимы этого охлаждения достаточно (зимой на чердаке около нуля градусов). А вот в самый жаркий летний период дополнительно включаю приточную вентиляцию. Воздух с улицы подается мощным вентилятором через армированный рукав:

Охлаждение спроектировано таким образом что холодный воздух с улицы поступает в нижнюю часть ящика, вертикально равномерно распределяется по передней стенке, а прошедший через все охлаждаемые устройства уже горячий воздух выдувается через заднюю часть боковых стенок. Разумеется на всех этапах стоят решетки и сетчатые фильтры. Кстати практика показала что в летнее время все фильтры требуют как минимум еженедельной чистки. В результате такой организации вентиляции в самое жаркое время температура внутри ящика при полностью нагруженных серверах не превышает 35 градусов. То есть фактически равна уличной температуре. Для контроля температуры внутри ящика, вокруг него и на улице я использую датчики DS 18S20 и программу Temp Keeper 2.0. Все мои электрические коммуникации выполнены в пластиковой гофре, а сечения силовых кабелей заложены с двухкратным запасом.

Теперь пришла пора заглянуть в сам ящик.

В верхнем отсеке ящика размещены два основых файл-сервера: на 1 и 2 Тб. Малый сервер (справа) забит музыкой и прочим добром, большой (слева) выделен исключительно под фильмы.

Оба сервера собраны в корпусах AOpen H800 с дублированными блоками питания Delta RPS-600A (2 х 337W HOT-SWAP redundant).

Малый сервер содержит 8 IDE дисков Maxtor по 120 Гб в массиве RAID5. Каждый диск установлен в "мобил-рэк" с четырьмя кулерами. Для создания аппаратного RAID5 массива использован контроллер ESCALADE 3ware 7506-8. Проц P4-1500 на маме ASUS P4T-533C с 512 Мб RIMM. Операционка Win 2003 server.

В большом сервере 12 IDE дисков WD по 200 Гб в массиве RAID5. Здесь диски установлены в четыре фирменные корзины AOpen. Каждая корзина обеспечивает хорошую принудительную вентиляцию для трех дисков. Для создания RAID5 массива использован контроллер ESCALADE 3ware 7506-12. Для контроля температуры и вентиляторов использован восьмиканальный модуль TS Thermal@Control 88M. Проц Celeron 2400 на маме ASUS P4P800 delux с 512 Мб DDR DIMM. Операционка Win 2003 server.

В нижнем отсеке размещены еще два сервера. Они оба в рэковых корпусах, но не потому что "так надо", а потому что такие корпуса мне когда-то достались.

Верхний сервер, который когда-то был первым и единственным теперь считается "бэкапным". В нем 4 диска Maxtor по 80 гигов на контроллере Promise Fasttrak 100 TX4. Моя политика бэкапа подразумевает временное резервирование только тех файлов со всех серверов, которые еще не архивированы на CD или DVD. А также на отдельном диске этого сервера складываются бэкапы системных разделов при ежедневном и еженедельном копировании. К сожалению системные диски я устанавливаю по остаточному принципу и получается что они умирают гораздо чаще чем диски из массива. И здесь выручает правильно настроенный бэкап. Мамка ASUS P3B-F, проц P2-450, память 256 Мб PC100.

Нижний сервер выполняет роль шлюза между моей подсеткой и всей локальной сетью. На серваке под Win 2003 server web edition крутится WinGate, пара FTP серверов (WarFTPd, Serv-U), Apache, MySQL, PHP, форум и прочие инетовские дела. Кстати еще немного о локальной сети и инете. Помимо того что вся моя коллекция доступна в локальной сети, у меня также организован полноценный доступ из инета через NAT (есть прямой IP). Однако из-за того что инетовский трафик платный доступ к серверам извне у меня ограничен "только для своих". Также NAT мне необходим для контроля серверов, например с работы. Кстати на этом сервере еще есть место для шести дисков, которое я оставил "на черный день", т.е. когда забъются все остальные массивы. Сейчас есть идея сделать на одном из дисков "файловую помойку", чтобы юзеры закидывали туда все то считают достойным общественного внимания, а я буду сортировать и выкладывать это на постоянное хранение.

О канале. Сейчас непосредственно ко мне в серверный ящик приходит с соседнего дома витая пара на 100 Мбит, а уже туда приходит оптика от центрального узла локальной районной сети. Для меня это неудобно тем что имеющийся канал уже загружен и без меня. Ведь помимо меня на этом свиче сидят еще несколько домов и школа. В результате в сутки от меня уходит всего 60 - 80 Гб трафика, а в месяц я отдаю суммарный трафик эквивалентный объему только одного только видеосервера. В ближайшие недели (а может уже и дни) по договоренности с администрацией сети ко мне должна прийти выделенная оптика. Вот тогда сервера заработают на полную!

Все сервера объединены в сеть через восьмипортовый гигабитный свич D-Link, который закреплен в верхней части ящика.

На четыре его порта заведены все сервера, а оставшиеся четыре уходят вниз, в квартиру. Все внутренние кабели неэкранированная витая пара пятой категории. Первоначально на его месте был 100 Мбит свич. Но с ростом объемов серверов, исходящим наружу трафиком, бэкапом и личными нуждами старый свич оказался загружен на все 100% и пришлось его отправить на заслуженный отдых. Теперь средняя скорость перегона больших файлов составляет 40-70 Мбайт/сек и ограничена только производительностью самих дисковых массивов.

Электропитание серверного ящика учитывает особенности электроснабжения дома, котором я проживаю. В доме часто отключают электроэнергию по отдельным подъездам. При чем иногда всего на несколько секунд, гораздо реже часами. Поэтому в ящик заводится две разные фазы из двух соседних подъездов (в идеале планирую сделать из разных домов :-). При отключении основной фазы силовое реле перекидывает питание устройств на другую. Вся высоковольтная коммутация собрана в закрытом электрощитке

На время перекоммутации и при глобальных отключениях обеих фаз оборудование резервируется через UPS PowerMan RealSmart 1500

Практика показала что этой UPS хватает для питания всего моего оборудования в течении примерно десяти минут. Однако уже сейчас UPS загружен примерно на 85% и поэтому я предполагаю установить второй UPS.

Для питания низковольтного оборудования в ящике установлен отдельный компьютерный БП на 300 Вт, от которого я использую напряжения +12В (вентиляторы, KVM переключатель и KVM extender и пр.) и +5В (консоль удаленного управления серверами). Этот БП также питается через UPS. Для самоуспокоения и для успокоения пожарного надзора в ящике установлен автономный углекислотный огнетушитель. Он может запускаться как самостоятельно через свой термочувствительный хвост, так через подачу управляющего напряжения с консоли управления. Управление огнетушителем организовано так что при подаче команды на его срабатывание отключается вся вентиляция и обесточиваются все сервера.

В обычном режиме доступ к "рабочим столам" серверов осуществляется через Remote Administrator, а когда это невозможно (например нужно посмотреть BIOS или синий экран смерти :-) то доступ к серверам осуществляется следующим образом: все устройства сведены на электронный четырехканальный KVM свич Planet, а к тому подключен KVM extender ATEN CE-220. Передающая часть этого устройства преобразует сигналы от клавиатуры, мыши и монитора (KVM) в цифровой поток, который передается по обычной экранированной витой паре категории 5е (но это не ethernet сигнал, поэтому в свич его включать нельзя!). Приемная часть устанавливается дома и осуществляет обратное преобразование в традиционную KVM раскладку. Максимальная дальность удаления приемника от передатчика может быть до 150 метров, у меня же она не превышает 40 метров, никакого ухудшения изображения при этом не наблюдается.

Все управление сетью осуществляется с домашнего компьютера на платформе ASUS Pundit, который имеет вот такое нетрадиционное расположение



Дело в том что дома "водится" полуторагодовалый ребенок у которого страсть к компьютерам видимо уже заложена в генах. Но по причине его малого возраста он пока отстранен от администрирования сети. А лишить админских прав удалось только подвесив все узлы домашнего компьютера на недоступной высоте.

Кстати клавиатура и мышь беспроводные и их приходится прятать повыше при каждом приближении маленького домашнего "вредителя" :-) А совсем недавно я обнаружил что он забирается на табуретку, затем залезает на стол и выключает монитор! Теперь приходится убирать табуретки.

Как и все сервера этот домашний компьютер включен круглосуточно, так как выполняет множество функций: во первых на нем живет почта, аська и прочие прелести инета; во вторых через KVM extender есть прямой доступ ко всем серверам, во третьих между процессорным блоком и монитором подключен внешний TV тюнер AverMedia TV BOX 3 и легким движением руки монитор превращается в полноценный телевизор. И есть ее одно немаловажное его предназначение: доступ на серверный чердак ограничен решетками и железными дверями с внушительными замками, то можно предположить что посторонних там не может быть. Однако для большей надежности мною были предприняты дополнительные меры безопасности. Сам чердак, все подходы к нему, а также входная дверь в квартиру просматриваются видеокамерами. Изображение с четырех камер поступает в домашний компьютер, где оцифровывается специализированной платой и пишется на диск. Живое или записанное изображение возможно просматривать как с локального компьютера, так и удаленно по сети. Уведомления о любом движении в зоне камер поступают на e-mail и sms. Зоны детектирования движения можно гибко настраивать.

К сожалению при создании этой сети не все так гладко происходило, как кажется при прочтении этой оптимистической статьи. Например были проблемы с электроснабжением и местным населением. Дело в том что основное питание серверной берется из электрощитка последнего жилого этажа. По настоянию местного электронадзора в щитке пришлось установить дополнительный автомат на 25 А и только после него кабель идет в серверную. Так вот "бабка - одинокий божий одуванчик", которой принадлежит электрощит повадилась отключать этот автомат. Аргументы у нее были такие:

  • Из за меня у нее счетчик теперь больше накручивает.
  • Из за этого "антернета" тиливизер сам сключается и выключается и мало каналов ловит
  • Я по ночам хожу по жестяной крыше ее балкона и кричу птичьими голосами
  • Из за меня у нее крыша протекает
  • И вообще ходют тут всякие терористы...

В результате пришлось менять местами фазы электроснабжения, а затяжная война с ней пока продолжается. Последний раз она на чердачную решетку повесила велосипедный замок с тросиком, мне пришлось его перекусывать. (в качестве ответной меры у меня есть идея установить на чердаке колонки и по ночам приобщать ее к церковным песнопениям Рахманинова :-) Но пока я не настолько от нее озверел и предпочитаю решать более насущные проблемы своего серверного хозяйства.

Хотя в целом хочу признать данное решение весьма успешным и достойным для последующего клонирования. Так что если кто-то надумает повторить мою конструкцию, то я готов ответить на все технические вопросы касающиеся этого проекта.

....пожалуй кроме одного - зачем все это нужно :-)

homenetw@narod.ru




Попробую прямо здесь ответить на некоторые вопросы которыми меня завалили.


ОХРАНА

Я не мог предполагать что тема охранного оборудования будет так актуальна. И все же попробую более подробно писать:
У меня стоит две камеры Sony SPC-10E с фантомным питанием, объективы савтодиафрагмой Avenir и в термобоксах и две скрытые мини-камеры SK-2005 CAS (но не скажу где :-). Видеосигнал от камер идет по обычному коаксиалу РК75-4. Для мини-камер я спаял самодельные магистральные усилители видеосигнала. Через подобные (по схеме) распреды сигналы со всех камер заведены на монитор Commax CCM-10Р с коммутатором на четыре входа. А также видео пишется на винт через четырехканальную плату Grand X guard. Для записи видео, ведения архивов записей, анализа движеня и прочих сервисов используется родной софт платы версии 3.0 от шестнадцатиканальной платы. Кстати даже четырехканальная плата легко наращивается до 16, так как на плате все элементы уже распаяны. Остается только добавить разьемы.Драйвера для всех плат тоже одинаковые. Софт тоже совместим.


ЧЕРТЕЖИ ЯЩИКА

Габаритные размеры ящика 1100 мм (высота), 900 мм (ширина), 800 мм (глубина). Верхнее отделение высотой 600 мм, нижнее 500 мм. Полка из ДСП пропитанного негорючим раствором. Точных чертежей ящика не существует, так как при его создании я "импровизировал". Но если будет свободное время, то попробую чертежи нарисовать. Особое внимание при проектировании уделялось вентиляции, т.к. тепла вся эта конструкция выделяет много.


RAID МАССИВ

RAID контроллеры с шиной PCI-64 можно устанавливать в обычные мамки с шиной PCI-32. Разумеется при этом производительность будет ниже, но мне и этого хватает.


материалы опубликованы с разрешения администратора сайта http://www.homenetw.narod.ru/

подписка на анонсы статей и новостей

подписка на анонсы статей и новостей

версия для печати

версия для печати



Статьи по этой теме:

Переключатель Switch 19", VGA/SVGA+KBD+MOUSE, 1>16 блоков/портов/port PS2, с KVM-шнурами PS/2 2х1.8м., (DDC2B;каскад. до 512;5 лет гар+электростраховка;ЗАКАЗ!) [ATEN]
ATEN CS1216A-AT-G
Переключатель...

Далее...

Переключатель Switch, VGA/SVGA+KBD+MOUSE, 1> 4 блока/порта/port PS/2;USB, без шнуров, серебристый, (консоль управления - USB;1U;спец.шнур;OSD;аудио фунцкия;каскад. до 64;USB1.1;5 лет гар+электростраховка;4SV1000)[ATEN
ATEN CS1754Q9-AT-G
Переключатель
Switch,
VGA/SVGA+KBD+MOUSE,

Далее...

Переключатель Switch, VGA/SVGA+KBD+MOUSE, 1> 8 блоков/портов/port PS/2, без шнуров, (KVM=монитор200MHz+клав.+мышь;1U; DDC2B;без OSD;некаскад;5 лет гар+электростраховка;CAS-821;TK-801D;DKVM-8E;KNV108D;ЗАКАЗ!) [ATEN]
ATEN CS78-AT-G
Переключатель
Switch,
VGA/SVGA+KBD+MOUSE,

Далее...



Сделано на «Интернет Фабрике», © Colan, 2001

Москва, пр.Вернадского, д.78, стр.7
Режим работы: понедельник-пятница с 10:00 до 19:00
Режим работы коммерческого отдела и склада: понедельник-пятница с 10:00 до 19:00
Тел: (495) 363-01-31, 785-55-90
Факс: (495) 363-01-32
e-mail: inf@colan.ru