You are viewing [info]brutenet's journal

LiveJournal for Алексей Архипенко.

View:User Info.
View:Friends.
View:Calendar.
View:Website (Информация обо мне).
View:Memories.
You're looking at the latest 20 entries. Missed some entries? Then simply jump back 20 entries.

Saturday, August 6th, 2011

Subject:Ideal home storage
Time:2:44 pm.
Hi! In this article I will describe some problems of home data storage and my approach to them.

* Storage choosing *


There are plenty of devices on the market.
Today I believe good home storage need to have:

- Transfer speed at least 30 Mbytes/sec to and from over SMB (or your main protocol) or greater
- Support at least RAID1, can use at least 2 disks
- Support Ethernet RJ-45 connection
- Support SMB and HTTP protocols (can access all data using both)
- Support automatic backup to external disk
- Debugging capabilities (who is using my storage? what are disks, processor and memory doing?)
- Reliable notifications via sound and email (hardware failures, backup failures, low free space and other)
- Reliable disaster recovery, good technical support and well-discussed on the internet (forums etc.)

So I chose QNAP TS-239 Pro II+

* Choosing disks *


When choosing disks you should:

- Plan needed capacity for 3-8 years ahead
- If you want to use disk actively, if you information is important - use server disks, else use consumer disks.
- Check disks officially compatible with your storage. This is vital. For QNAP use http://www.qnap.com/pro_compatibility.asp
- Check forums for issues with the disk chosen

So I chose two Hitachi Ultrastar 7K3000 HUA723030ALA640 server disks

* Network devices *


If you want to get more than 8 Mbytes/sec, choose gigabit switch. In general model it is not very important. You usually do not need Jumbo frames or some management capabilities for home usage.

Better minimise the number of network devices between your computers and Storage.

* Initial setup *


Important notice:

- Download latest firmware
- Follow other vendor recommendations for initial setup. For QNAP it is in the current manual http://www.qnap.com/download.asp?pl=1&p_mn=179
- Better insert both disks at once and create your RAID1 from scratch
- I do not recommend putting NAS outdoors, in a box, cupboard, closet, or any other cold/hot/wet environment.

* Advanced setup *


When your RAID is up and running, begin tuning your NAS. I recommend that you enter web interface and check all the pages and tabs. These are most important:

- Setup NTP. This will help you understand, what is NAS doing looking at your PC clock and understand time in logs



- Setup at least minimal password strength. This will help you if you or you friend forgets about security.



- When setting up DNS servers, I recommend that you use some public DNS server (e.g. I use Google 8.8.8.8) AND your provider's DNS server. This gives maximum reliability.



- If provider does not give you static IP-address and you want to access your NAS from Internet (your friends or your vacations), set up DDNS. I use no-ip. Note that User name must be with domain.



- I recommend the following hardware settings



(these are optimal. If you have problems, you may need to disable Write cache)
(I recommend to turn standby mode off, increasing you HDD life. If you have noise or hot problems, turn it on)

- I do not recommend using QNAP High Security Level, because the system is already pretty secure. If you will need in future, you can block some hosts using Medium Security Level.



- I recommend that you turn on Network Access Protection for all protocols that you use.



- I recommend these power settings if you are not sure:



* Disk management *


I recommend that you enable temperature alarm at 50 degrees C. Researches show that best temperature for HDD is 35-45 degrees C and minimal spindowns.

I recommend that you enable automatic rapid tests once a month. If your disk is older that 5 years, you may enable tests every week.



I recommend that you enable Bitmap on the RAID. This may help you in a disaster and does not require much performance or disk space. Best choise is to enable Bitmap after you initially write all the main data on the disks.



I recommend that you don't use iSCSI at home. This protocol does not support sharing and has little benefits over standard ones (SMB, AFP, HTTP). iSCSI may be used for special purposes like virtual machines.

* Setup notifications *


I recommend that you setup notifications, so that you know when something is wrong with your NAS and you are not at home. I use email notifications, because I check email often.

To setup email notifications you can create a google account for your NAS and send mail through it. This keeps your main email password secure:



(Note, that you need to check authentication and SSL/TLS boxes)
(Note, that you can use any Sender, even non-existent)

Do not forget to enter your real email address on Alert Notification page:



* Setup protocols *


Microsoft networking: usually standalone + local master browser for home.





For others use default settings.

* Security *


Recommendations:

- Disable all services that you are not going to really need (usually FTP, NFS, Telnet, SFTP is not needed. Also turn off Apple Networking if you use Windows)
- Divide all your data into Public and Private folders. This will help you to grow.
- Use group permissions instead of user permissions even if you have little users for now. This will help you to grow.
- Always passwords where you can use them. Use SNMP community (not public).

* Data protection *


Usually home users have 3 types of data:

+ Not important data (movies, downloads, games etc.) - this data can be stored on cheap desktop drives in a PC

+ Important data. You do not want to loose this data, but it is not a catastrophy. This data can be stored on a NAS RAID1 (or RAID5) and also you can make a tree of the data and put it in a "very important" data location.

+ Very important data. You do not want to loose this data and it is a catastrophy. This data can be stored on a NAS RAID1 (or RAID5) and be automatically backed up to an external USB-drive. Usually this data is less then 10% of Important data and 2.5 inch drive is enough for backup.



To use external backup I connected 2.5 inch usb disk to QNAP, created Critic folders in both Public and Private and set up backup in web interface (I also backup Cacti scripts folder):



Also I:

- periodically backup QNAP settings to Private/Critic folder
- automatically backup all configurations (/mnt/HDA_ROOT and /mnt/ext) to Private/Critic folder using the following cron job:
- backup Gmail, Google documents, ICQ and Skype logs, mobile phone address book (online data) yearly to this folder Private/Critic/Backup.
15 3 1 * * /share/Main/Private/Critic/Backup/QNAP/backup.sh

[/] # cat /share/Main/Private/Critic/Backup/QNAP/backup.sh
/bin/tar -czf mntext.tgz /mnt/ext
/bin/tar -czf HDA_ROOT.tgz /mnt/HDA_ROOT


To make trees of my data I use the following windows bat script yearly (it resides in Private/Critic/Backup/tree):

SET mycd=%cd%
SET par=/F /A
mkdir %date%
x:
cd x:\
tree %par% > %mycd%\%date%\tree-x-%date%.txt
z:
cd z:\
tree %par% > %mycd%\%date%\tree-z-%date%.txt
n:
cd n:\public
tree %par% > %mycd%\%date%\tree-npu-%date%.txt
n:
cd n:\private
tree %par% > %mycd%\%date%\tree-npr-%date%.txt


Trees help me to remember, which files (software versions or movies) I used and download them again if needed, when my PC disks fail.

Also, I greatly recommend that you enable Network Recycle Bin. This will help you to recover files that you or your friends deleted by mistake.



* Monitoring *


Latest QNAP firmware (I use 3.4.4) has new features for monitoring: better CPU/memory monitoring with TOP processes, good logs of System events and Connections (does not include SMB and HTTP connections on Web server, only Administration and Web File Manager)

I recommend that you turn on System Connection Logs, so that if somebody tries to hack you, you can go there and see, what happened:



To further extend monitoring and debugging capabilities I use the following:

- Cacti for monitoring resources
- Awstat for monitoring web server access
- Ntop for detailed information about traffic (usually disabled, I enable it when needed)
- Additional console applications (iotop to know what processes are using disks, sysstat for detailed information about resources, tcpdump for sniffing traffic when needed, iptraf for online traffic statistics)

Most of these are installed with Optware IPKG (), some are directly downloaded with wget.

To save changes on reboot I use my script /etc/config/autorun.sh, which is run from flash disk /tmp/config/autorun.sh (see http://wiki.qnap.com/wiki/Autorun.sh):

ln -sf /etc/config/profile /etc
ln -sf /share/Public/Critic/System/awstats/db /var/lib/awstats
ln -sf /etc/config/awstats /etc
ln -sf /share/Public/Critic/System/awstats /usr/local
ln -s /opt/bin/perl /usr/bin/
/share/MD0_DATA/Private/Critic/Backup/QNAP/ramdisk-load.sh


To prevent Cacti disk access every 5 minutes I moved all RRA, Cacti mysql database and some scripts to ramdisk (using ln -s).

ln -s /var/cacti/mysql /share/Main/.@mysql/cacti
ln -s /var/cacti/site/include /share/Web/cacti/
ln -s /var/cacti/site/cli /share/Web/cacti/
ln -s /var/cacti/site/lib /share/Web/cacti/
ln -s /var/cacti/site/resource /share/Web/cacti/
ln -s /var/cacti/site/rra /share/Web/cacti/

[/var/cacti] # du -ch
1.1M ./mysql
7.0K ./site/resource/script_queries
5.0K ./site/resource/script_server
19K ./site/resource/snmp_queries
32K ./site/resource
132K ./site/cli
40K ./site/lib/adodb/lang
59K ./site/lib/adodb/datadict
392K ./site/lib/adodb/drivers
835K ./site/lib/adodb
1.7M ./site/lib
152K ./site/include/jscalendar/lang
212K ./site/include/jscalendar
74K ./site/include/treeview
471K ./site/include
61K ./site/scripts
7.2M ./site/rra
9.5M ./site
11M .
11M total


To avoid problems you also have to copy several files to /var/cacti/site:

cp /share/Web/cacti/cmd.php /var/cacti/site/
cp /share/Web/cacti/script_server.php /var/cacti/site/


They are backed up from ramdisk to disk every hour and loaded in autorun.sh (see above):

47 1-21 * * * /share/Main/Private/Critic/Backup/QNAP/ramdisk-save.sh

[/] # cat /share/Main/Private/Critic/Backup/QNAP/ramdisk-save.sh
cd /share/MD0_DATA/Private/Critic/Backup/QNAP/
/bin/tar -czf ramdisk-cacti.tgz /var/cacti


Storing something on ramdisk is not generally recommended, but I wanted to avoid excessive noise and disk wear. I also disabled mysql binary logs for cacti in /etc/my.cnf, which prevents mysql from constantly writing to binary log:

log-bin=mysql-bin
binlog-ignore-db=cacti


Awstats setup guide can be seen here: http://wiki.qnap.com/wiki/AWStats



Do not forget to move log files from /mnt/ext to your big disk. Also, I use logrotate for apache logs:

[/] # cat /opt/etc/logrotate.conf
compress

"/usr/local/apache/logs/access_log" /usr/local/apache/logs/error_log {
rotate 5
size=200k
sharedscripts
postrotate
/usr/local/apache/bin/apachectl restart
endscript
}


I run cacti and awstat only when I am not going to sleep, because they make a little noise, although cacti mainly uses ramdisk:

*/5 7-21 * * * /mnt/ext/opt/apache/bin/php /share/Web/cacti/poller.php >/dev/null 2>&1
57 1-21 * * * /usr/local/awstats/tools/awstats_updateall.pl now


Do not forget to copy all your crontab to /etc/config/crontab. I usually edit with "crontab -e", then copy everything to /etc/config/crontab and then update cron with "/etc/init.d/crond.sh restart".

Here are my cacti graphs. Note that I did not collect some parameters all the time and they have gaps:
































I also ping internet site for ping latency and collect information from my main PC into cacti.

You can download my QNAP cacti templates and scripts at http://dl.dropbox.com/u/1350128/qnap-review/qnap-cacti.rar
Comments: Read 11 or Add Your Own.

Thursday, February 28th, 2008

Subject:Анонсирование Loopback
Time:11:27 am.
При анонсировании Loopback в протокол маршрутизации (проверял на OSPF) он, независимо от маски установленной на интерфейсе, анонсируется с маской /32.

То ли мы невнимательно читаем документацию, то ли что, но для всех нас это было неожиданностью.

Пример конфигурации )
Comments: Read 7 or Add Your Own.

Tuesday, November 6th, 2007

Subject:Онлайн-хранилища файлов
Time:4:52 pm.
Здесь находится неплохой обзор по онлайн-хранилищам: http://habrahabr.ru/blog/web_2_0/23523.html

Резюмирую его и личный опыт:

1. http://www.box.net - 1ГБ для хранения файлов, 10 Гб трафика в месяц, не позволяет скачивать целыми папками, позволяет размещать http-ссылки на файлы через видгеты. Размер файла ограничен 10 Мб. Подходит для выкладывания файлов в блоги.

2. http://www.xdrive.com - 5Гб для хранения файлов, объем трафикав месяц и максимальный размер файла не указан (возможно, неограничены - проверял заливая файл 101 Мб), позволяет скачивать целыми папками. Похоже, не позволяет делать http-ссылки для блогов. Подходит для передачи больших объемов файлов между ограниченным кругом людей.

3. http://www.esnips.com – 5Гб для хранения файлов, позволяет делать ссылки на файлы через видгеты, ограничений по размеру файлов и трафику в месяц не видно, но при попытке залить архив размером 78 мегов говорит что не поддерживает заливку больших архивов. Подходят для выкладывания в блоги.

4. http://www.mediamax.com - 25ГБ(!) для хранения файлов, размер файла до 10 Мб, трафик до 1 Гб в месяц, доступно приложение MediaMax XL Beta для синхронизации и резервного копирования; Интересный тариф для постепенного накопления информации.

5. http://www.omnidrive.com - 1ГБ для хранения файлов, трафик до 5 Гб в месяц, есть приложение для синхронизации данных локального компьютера с виртуальным хранилищем; позволяет редактировать документы в онлайне.

6. http://www.boxcloud.com – необычный проект обмена, не хранящий данные на сервере, а организующий передачу между компьютерами пользователей. Поэтому после того, как вы расшарите файл, он расшарится практически мгновенно, независимо от его размера, но скачиваться будет только пока ваш компьютер включен. Для бесплатного аккаунта разрешено создание одного рабочего пространства для 3 пользователей; свежий проект с багами.
Comments: Read 1 or Add Your Own.

Tuesday, October 16th, 2007

Subject:[обзор] Hamachi
Time:11:46 am.
Совершенно гениальный проект Hamachi представила компания LogMeIN. Продукт позволяет очень быстро и легко создавать VPN-сети, включая компьютеры Windows и Linux.

Шокирующее преимущество продукта в том, что не требуется ни прямой IP-адрес, ни перенаправление портов. Более того, возможна работа даже через proxy-сервер (не проверял). Есть также много коварных фич вроде фиксации клиентских портов, по которым работает программа.

Бесплатная версия программы позволяет соединить до 16 компьютеров в каждой из 64 созданных сетей и к огромному сожалению, в отличие от платной ($40 в год), не имеет возможности запускаться в виде сервиса, то есть после перезагрузки компьютера необходимо в него залогиниться (или воспользоваться функцией автологина в Windows XP).
Comments: Read 2 or Add Your Own.

Tuesday, June 5th, 2007

Subject:[технология] Монтирование разделов FreeBSD под Linux
Time:12:24 pm.
mount -r -t ufs -o ufstype=XXX /dev/YYY /mnt/disk

XXX = 44bsd для FreeBSD 4.x
XXX = ufs2 для FreeBSD 5.x и выше
YYY = например hdaZ, где Z - номер раздела. Обычно в FreeBSD разделы логические (слайсы), в Linux они нумеруются с цифры 5. Таким образом напрмер при стандартной установке /dev/ad0s1a будет соответствовать в Linux /dev/hda5

Обратите внимание, что таким путем монтирование возможно только read-only. Для просмотра слайсов FreeBSD под Linux лучше использовать sfdisk, а не fdisk.
Comments: Read 2 or Add Your Own.

Wednesday, May 30th, 2007

Subject:Определение версии Linux/Unix
Time:5:42 pm.
Для этого во-первых служит команда (наиболее универсальная - есть во всех Unix и Linux)

uname -a

Во-вторых, можно поискать файлы содержащие в названии слова version или release в папке /etc :

ls /etc/*release*
ls /etc/*version*


В этих файлах содержится версия релиза.

На некоторых дистрибутивах присутствует также файл /proc/version , в котором можно найти информацию по версии ядра, gcc и дистрибутива (thx to [info]bansheezm)

cat /proc/version
Comments: Read 12 or Add Your Own.

Subject:[технология] Установка Fedora 6 + VMware Server 1.0.3
Time:5:19 pm.
(писал на английском, переводить очень не хочется)

Install Fedora (can be downloaded here http://mirrors.fedoraproject.org/publiclist):
Remove all graphic packages (gnome, x, administration...)
After such setup FC6 will use approx. 950 Mb of disk space + swap
FC6 uses about 100 Mb of RAM

Disable unneded services:

chkconfig bluetooth off
# printing
chkconfig cups off
# console mouse
chkconfig gpm off
# HID
chkconfig hidd off
chkconfig ip6tables off
chkconfig isdn off
chkconfig nfs off
chkconfig nfslock off
# PC/SC Smart Card Daemon
chkconfig pcscd off
chkconfig portmap off
chkconfig rpcidmapd off
chkconfig rpcgssd off
chkconfig rpcidmapd off
chkconfig rpcsvcgssd off

yum -y install kernel kernel-devel

If different versions (or archs) installed like this, use the last kernels:

rpm -aq | grep kernel
rpm -e kernel-2.6.20-1.2948.fc6
wget http://download.fedora.redhat.com/pub/fedora/linux/core/updates/6/i386/kernel-2.6.20-1.2948.fc6.i686.rpm
rpm -i kernel-2.6.20-1.2948.fc6.i686.rpm

shutdown -r now

(Choose correct kernel on boot - usually not needed)

yum -y install mc gcc gcc-c++ xinetd

wget http://download3.vmware.com/software/vmserver/VMware-server-1.0.3-44356.i386.rpm
wget http://download3.vmware.com/software/vmserver/VMware-mui-1.0.3-44356.tar.gz

wget http://platan.vc.cvut.cz/ftp/pub/vmware/vmware-any-any-update110.tar.gz

rpm -i VMware-server-1.0.3-44356.i386.rpm
tar -xzf vmware-any-any-update110.tar.gz
cd vmware-any-any-update110
./runme.pl

Подробнее )

tar -xzf VMware-mui-1.0.3-44356.tar.gz
cd ../vmware-mui-distrib/
./vmware-install.pl

Подробнее )

Now you can test everything (but do not forget to disable or setup iptables).
Now installation uses 1.7 Gb
Comments: Add Your Own.

Subject:[технология] Fedora и загрузочный RAID1
Time:5:01 pm.
В Fedora можно посадить раздел /boot на RAID1 так, как это написано в руководстве по RedHat. Однако там не написано, что для того, чтобы после этого система грузилась с обоих дисков нужно не только прописать в BIOS загрузку с обоих дисков, но и подготовить GRUB к загрузке со второго диска:

grub
grub>device (hd0) /dev/hdc
grub>root (hd0,0)
grub>setup (hd0)


Кроме того после первой загрузки необходимо активировать RAID:

# add second device to raid1
mdadm /dev/md0 -a /dev/hdc1
# monitor until recovery is complete (approx 80mb per hour):
cat /proc/mdstat
# make correct table
# FIRST LEAVE ONLY ONE LINE in mdadm.conf (that starts with DEVICE)
mdadm --detail --scan -v >> /etc/mdadm.conf


Еще при установке загрузочный раздел (/boot или /, если нет отдельного /boot) должен находиться на md0 (при использовании IDE). На SCSI вроде бы на md1 (не уверен).
Comments: Add Your Own.

Subject:VMware сервер и гостевые ОС
Time:4:28 pm.
На VMware шикарно встает Windows (проверял на 2003). Проц не грузит, работает быстро.

Linux и сертифицированные версии FreeBSD (на сегодня самые старшие 5.4 и 6.0, а 5.5 и 6.2 уже не поддерживаются официально) тоже встают очень хорошо.

Если же пытаться ставить официально неподдерживае версии, то могут быть проблемы. Например, при установке FreeBSD 6.2 грузится процессор и гостевая ОС работает медленно. А при установке например Fedora 6 всё работает нормально.
Comments: Add Your Own.

Subject:[обзор] VMware Server
Time:4:13 pm.
VMware Server сейчас существует в нескольких видах, основные из них - VMware Server и VMware ESX. Первый вариант ставится на Windows и Linux, второй уже представляет собой дистрибутив Linux с предустановленным ПО VMware.

VMware ESX является довольно требовательным к оборудованию и хорошо успешно устанавливается обычно только на брендовые серверы HP, Intel и т.д. (список совместимости на сайте)

При установке VMware Server на Windows (на примере машины с 1 Гб RAM) на Windows уходит 300-500 Мб RAM (меняется от времени) и периодически процессор и диск загружают фоновые процессы ОС. При установке на Linux на ту же систему на Linux уходит 100-300 Мб RAM и процессор практически не загружается материнской ОС.
Comments: Read 1 or Add Your Own.

Thursday, August 17th, 2006

Subject:Немного об ASA5510
Time:10:31 am.
Довелось потестировать эту железку на днях. Софт 7.2.1 (ED) и ASDM версии 5.2.1. Во-первых глюки типа нестабильной работы консоли - вылетает иногда по TAB, не всегда дает адекватные подсказки и т.д. При попытке настроить Failover через ASDM он попытался выполнить на удаленной ASA команду show mode, которой не оказалось, поэтому Failover настраивал вручную в консоли.

Какой-то ужасно противный глюк с OSPF: в какой-то момент ASA перестает слать HELLO на один из интерфейсов и соответственно статусы соседей замирают на INIT/DROTHER. Без stateful failover лечится обычным failover active. После настройки stateful failover не помогает даже перезагрузка одной из ASA - только одновременная перезагрузка обоих.

Еще обнаружился глюк с IPSec: при отсутствии stateful failover при переключении на другую ASA все SA стираются и автоматически не пересоздаются, то есть VPN падает наглухо. Решаемо с помощью stateful failover.
Comments: Add Your Own.

Wednesday, March 1st, 2006

Subject:Отключение ISA 2004
Time:4:14 pm.
В ISA 2004 есть забавная особенность: если отключить основной сервис ISA (называется Microsoft Firewall), то вы не избавитесь от файрвола совсем. Часть соединений будет блокироваться по специальной схеме сервисом Microsoft Firewall Packet Engine Driver (fweng). Этот режим называется ISA Lockdown mode. Полностью отключить ISA поможет команда net stop fweng.

Подробнее... )
Comments: Read 1 or Add Your Own.

Tuesday, February 21st, 2006

Subject:Схемы передачи данных
Time:5:46 pm.
Нарисовал схемы передачи данных для двух типичных протоколов: HTTP и FTP через устройства с различными политиками передачи данных: роутер, NAT + Application Filter, HTTP Proxy, ISA Firewall Client session.

Обозначения: стрелками обозначаются TCP-сессии, направление инициации сессии обозначено закрашенной черным стрелкой. Над стрелкой указаны TCP-порты с каждой стороны, под стрелкой - ip-адреса. IP-адреса указаны под названиями машин. Динамические порты из пула выше 1024 указаны в виде >1024. Звездочки указаны для того, чтобы показать, что это разные порты.

Картинки кликабельны (там увеличенные версии). Подробнее о протоколе RWSP и ISA Firewall Client можно прочитать здесь



Comments: Read 1 or Add Your Own.

Saturday, February 11th, 2006

Subject:[технология] FreeBSD: Настройка ntpd
Time:2:20 am.
Здесь уже был затронут вопрос синхронизации времени. FreeBSD позволяет синхронизировать время двумя способами: при загрузке (ntpdate) и постоянно (ntpd). Первый способ был уже рассмотрен здесь. Последний способ также позволяет выдавать время другим NTP и SNTP-клиентам. Остановимся на нем подробнее:
Подробно о настройке NTPD )
Comments: Add Your Own.

Monday, January 30th, 2006

Subject:[Юмор] Microsoft specifics
Time:4:50 pm.
TOP = Take Ownership Permission
Comments: Add Your Own.

Sunday, January 22nd, 2006

Subject:FreeBSD Zebra router
Time:2:29 pm.
Для FreeBSD и других UNIX-подобных платформ существует несколько пакетов динамической маршрутизации. Zebra - один из самых надежных и функциональных. Он поддерживает протоколы RIP, RIPv2, RIPng, OSPF, BGP4. Кроме этого поддерживаются протоколы IPv6, IGMP, SNMP. Управление роутером может осуществляться по telnet. Команды аналогичны Cisco IOS.

Процесс установки:
  1. Установить Zebra желательно из пакета, но можно и из портов.
  2. После установки файлы конфигурации находятся в /usr/local/etc/zebra. Там следует переименовать нужные файлы (например zebra.conf.sample и rip.conf.sample) в соответствующие файлы конфигурации (zebra.conf и rip.conf).
  3. В файлах указать параметры для hostname, password, и настраивать разделы router **** так, как это описано в документации Cisco IOS или на сайте http://www.zebra.org
  4. Доступ по telnet осуществляется по портам 2601-2605 (у каждого протокола свой порт, zebra - 2601). Обратите внимание на то, что для управления отдельными протоколами вам нужно будет использовать отдельные порты.

P.S. Одним из ответвлений от Zebra является Quagga, который в данный момент больше поддерживается (thx to [info]fearan)
Comments: Read 8 or Add Your Own.

Friday, January 13th, 2006

Subject:Мониторинг ARP-активности
Time:12:07 pm.
Задачи и технологии

ARP-протокол используется для установления связи между IP-адресами и MAC-адресами сетевого оборудования. Поскольку MAC-адрес обычно фиксирован для конкретного сетевого интерфейса, а IP-адрес устанавливается вручную или с использованием DHCP, существует возможность отслеживания, какое оборудование взяло тот или иной IP-адрес (в случае, если MAC-адрес не был изменен с помощью специального программного обеспечения).

Необходимость слежения за ARP-активностью в основном имеется в незащищенных сетях, где не используются VLAN/PVLAN, статические ARP-таблицы, 802.1х, NAC и др. (было рассмотрено здесь). В незащищенных сетях информация об ARP-активности может выявить источник ARP-сканирования, неправильных ip-адресов или подмены ip-адресов и выбрать правильный путь решения этой проблмы.

Однако, необходимость слежения за ARP-активностью может также существовать и в защищенных сетях для предварительного выявления несанкционированной активности (попыток взлома) или неправильной настройки IP-уровня.

Для того, чтобы отслеживать ARP-активность, средства слежения должны быть установлены в сегменте, где необходимо это слежение. Поэтому удобно устанавливать эти средства на роутерах, объединяющих несколько сетевых сегментов или прямо на свиче, если он это позволяет.

Средство слежения за ARP-активностью может либо следить за локальной ARP-таблицей, либо слушать ARP-трафик в сети (ARP-сниффер). Первый вариант имеет в первую очередь ограничение, связанное с тем, что в ARP-таблицу попадает только легальная информация. Неадекватная информация (например, информация об адресе из неизвестной IP-сети) не попадет в локальную ARP-таблицу и поэтому не будет проанализирована таким средством. Второй вариант предпочтителен, но требует внедрения в сетевой стек системы.

Конкретные решения

Под Windows мне такие средства неизвестны (за исключением программы MD ARP Monitor, которая правда работает только с одним интерфейсом и, по всей вероятности, следит только за локальной ARP-таблицей).

У Cisco не так давно появилась фича Dynamic ARP Inspection на свичах. Она позволяет анализировать ARP-пакеты, выбирать из них только легальные на основании подслушивания DHCP (snooping) или на основании ARP access-lists, а также ограничивать частоту подачи ARP-запросов. Также ведет логи (с возможностью отправки на syslog-сервер, как обычно).

Для операционных систем Unix/Linux существует очень удобный пакет arpwatch, который работает по принципу слежения за ARP-трафиком, а не за ARP-таблицей и является достаточно гибким с точки зрения настройки и мониторинга.

Решение на базе arpwatch

Подробнее )
Comments: Read 2 or Add Your Own.

Friday, December 30th, 2005

Subject:[обзор] FreeBSD: Средства мониторинга
Time:1:58 pm.
Во FreeBSD существует огромное количество средств для получения информации о функционировании системы. Однако некоторые из них спрятаны немного нетривиально.

  1. Информация о дисках

    1. mount - показывает смонтированные подразделы и флаги из монтирования
    2. df - показывает смонтированные подразделы, их размер и свободное место на них
    3. fdisk /dev/ad0 - показывает информацию о диске ad0 и разделах на нем
    4. disklabel /dev/ad0s1 - показывает список подразделов в первом разделе диска ad0
    5. swapinfo - показывает список подразделов свопинга на дисках и их использование
    6. fstat - показывает список открытых файлов (имена файлов не выводятся)
    7. pstat -f - выводит список открытых файлов (имена файлов не выводятся)
    8. systat -vmstat n - каждые n секунд выводит количество транзакций с диском в секунду, объем записанных/считанных данных на диск в секунду, средний размер транзакции и процент времени в течение которого диск был занят работой.
    9. iostat - выводит информацию, аналогичную systat -vmstat, но не выводит занятости диска по времени и может выводить среднюю статистику с момента загрузки.
    10. vmstat - выводит количество операций на диске в секунду
    11. /stand/sysinstall - можно посмотреть и изменить разметку диска и монтирование
    12. less /etc/fstab - таблица монтирования при загрузке

  2. Информация о процессоре и памяти

    1. systat -vmstat n - вывод показателей загрузки (number of jobs in the run queue averaged over 1, 5 and 15 min), состояния памяти (в страницах), количества процессов в группах, количество вызовов специальных функций ядра (traps, interrupts, system calls, network software interrupts), использование процессора, трансляции имен, активность свопа, прерывания, а также информацию по использованию диска (см)
    2. top - аналогичная информация в сокращенном виде + использование памяти и свопа в мегабайтах, список процессов, отсортированных по использованию процессора.
    3. ps afx - список запущенных процессов и время процессора на каждый

  3. Информация о сети

    1. ifconfig - список сетевых интерфейсов с ip-адресами, масками, mac-адресами, типами карт и их статусами (названия карточек можно посмотреть в файле конфигурации ядра)
    2. systat -ifstat n - объем трафика за n секунд на всех сетевых интерфейсах
    3. netstat - вывод активных сетевых соединений (сокетов)
    4. systat -netstat n - аналог netstat в реальном времени
    5. systat -ip n - таблица IP-пакетов и ошибок по типам за n секунд
    6. systat -tcp n - таблица TCP-пакетов и ошибок по типам за n секунд
    7. systat -icmp n - таблица ICMP-пакетов и ошибок по типам за n секунд
    8. netstat -ibt - список интерфейсов, разбитых по ip-адресам (!) с объемом трафика на каждом, количеством ошибок, коллизий, значением watchdog-таймера
    9. netstat -r - таблица маршрутизации
    10. arp -a - таблица ARP
    11. tcpdump -i rl0 host 192.168.61.20 and port 80 - сниффер пакетов на интерфейсе rl0, фильтрующий пакеты, содержащие адрес 192.168.61.20 и порт 80
    12. trafshow -i rl0 - программа для сортировки и вывода сетевых потоков (устанавливается дополнительно пакетом или из портов)

  4. Службы времени

    1. date - выводит текущее время и дату
    2. w - выводит, сколько времени назад система загрузилась и залогиненных пользователей
    3. last - выводит историю перезагрузок и входов пользователей

Comments: Read 6 or Add Your Own.

Subject:FreeBSD: Сбор информации о конфигурации системы
Time:12:51 pm.
При загрузке kernel выдает в журнал много информации о конфигурации компьютера. Посмотреть ее можно с помощью команды less /var/run/dmesg.boot:
Здесь пример вывода )
Comments: Read 6 or Add Your Own.

Thursday, December 1st, 2005

Subject:Схема траблшутинга (по CIT)
Time:3:39 pm.
  1. Gather symptoms

    1. Gather network symptoms

      1. Analyse existing symptoms
      2. Determine ownership
      3. Narrow scope
      4. Determine symptoms
      5. Document symptoms

    2. Gather user symptoms

      1. Ask questions that are pertinent to the problem.
      2. Use each question as a means to either eliminate or discover possible problems.
      3. Speak at a technical level that a user can understand.
      4. Ask the user when he first noticed the problem.
      5. If possible, ask the user to re-create the problem.
      6. Determine the sequence of events that took place before the problem occurred.
      7. Match the symptoms that the user describes with common problem causes.

    3. Gather end system symptoms

      1. Interview user
      2. Analyze symptoms
      3. Determine symptoms
      4. Document symptoms


  2. Isolate the problem

    1. Bottom-up (Physical -> Application)
    2. Top-down (Application -> Physical)
    3. Divide-and-conquer

  3. Correct the problem

    1. Develop an action plan
    2. Implement action plan
    3. Check for problem elimination
    4. If problem persists, cancel all changes and go to 1 (develop new action plan)
Comments: Add Your Own.

LiveJournal for Алексей Архипенко.

View:User Info.
View:Friends.
View:Calendar.
View:Website (Информация обо мне).
View:Memories.
You're looking at the latest 20 entries. Missed some entries? Then simply jump back 20 entries.