Adblock w OpenWrt / Gargoyle / LEDE – tytuł wpisu sugeruje, że artykuł będzie o blokowaniu reklam na routerze z alternatywnym firmwarem OpenWrt / Gargoyle. Tak, owszem będzie o blokowaniu reklam, ale bezpośrednią inspiracją do jego powitania była lektura artykułu o nowych serwisach działających w pobieraczkowym stylu – Uwaga na internetowych oszustów!. Jako że dziecka w domu rosną, ani chybi w końcu któreś trafi na jeden z takich serwisów i się nieświadome konsekwencji zarejestruje. Kierując się przysłowiem, że lepiej jest zapobiegać niż leczyć, postanowiłem wyciąć te serwisy już na routerze. Takie rozwiązanie ma tą niezaprzeczalną zaletę, że dzięki temu strony te blokowane będą niezależnie od tego jakie urządzenie podłączymy do naszej sieci domowej, z jakim systemem operacyjnym czy z jaką przeglądarką WWW. W ten sposób powstał mój mały plik w formacie HOSTS dostępny pod adresem /download/hosts.txt. Dopiero potem przyszedł mi pomysł, żeby przy okazji blokowania pobieraczkowych serwisów zablokować także reklamy, serwisy śledzące, spyware czy wszystko inne znajdujące się na dostępnych w internecie czarnych listach. Skutkiem blokowania reklam uzyskanym niejako przy okazji, będzie przyśpieszenie wczytywania stron pozbawionych balastu reklam.
Ostatnia zmiana w skryptach – na prośbę Łukasza – teraz białą listę adblock ściąga z zewnętrznej lokalizacji.
Realizacja tego pomysłu na routerze wyposażonym w alternatywny firmware OpenWrt / Gargoyle jest banalnie prosta. Właściwie wszystko, co potrzebujemy dostajemy out of the box, a naszą rzeczą jest jedynie dokonanie prostej konfiguracji.
Adblock (curl version) w LEDE / OpenWrt / Gargoyle
Do blokowania adresów wykorzystamy Dnsmasq – prosty serwer zabudowany w OpenWrt / Gargoyle służący do realizacji usług: DNS, DHCP i TFTP w małych sieciach. Wszystko co musimy zrobić to:
- w pliku
/etc/config/dhcpw sekcjiconfig dnsmasqdopisać lokalizację pliku z adresami do zablokowania, np:.list addnhosts '/mnt/sda3/hosts/hosts.deny'; - stworzyć ów plik
/mnt/sda3/hosts/hosts.deny(ze względu na objętość tego pliku koniecznie na zewnętrznym nośniku USB); - zrestartować Dnsmasq.
Poniżej prezentuję mały skrypt, który zautomatyzuje powyższe 3 kroki. Skrypt do działania wymaga doinstalowania 2 pakiety: curl i ca-certificates:
|
1 2 |
opkg update opkg install curl ca-certificates |
Potrzebne są one do ściągania czarnych list. Skrypt aktualnie obsługuje czarne listy w 3 formatach:
- klasycznym formacie HOSTS – np.
127.0.0.1 090.waw.pl, - formacie HOSTS ze zmodyfikowanym IP – np.
0.0.0.0 fr.a2dfp.net, - czystej liście domen – np.
arta.romail3arnest.info.
Skrypt przetworzy też pliki w formacie Adblocka / μBlocka, jednakże w tym przypadku zalecam BARDZO DALEKO IDĄCĄ OSTROŻNOŚĆ, np. taka sobie reguła ukrywająca reklamy google.pl##.ads-ad po przetworzeniu zablokuje całą google.pl. Jeśli więc komuś nie wystarczają listy z domyślnej wersji skryptu i ma nieodpartą potrzebę dodania listy Adblocka / μBlocka musi ją bardzo dokładnie przeanalizować i zdawać sobie sprawę, że może zablokować więcej niż by chciał.
Ja nie chcę, więc zdecydowałem usunąć z domyślnej wersji skryptu listy:
http://hostsfile.mine.nu/Hosts,http://optimate.dl.sourceforge.net/project/adzhosts/HOSTS.txt,http://securemecca.com/Downloads/hosts.txt;
gdyż zawierały one zbyt dużo „dobrych” stron. Listy te były najobszerniejsze ze wszystkich testowanych przez mnie, wniosek z tego płynie dość oczywisty – trudno zapanować nad ogromną listą, lepiej więc skorzystać z wielu mniejszych list niż jednej obszernej
Data ostatniej modyfikacji skryptu adblock-curl to
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 |
#!/bin/ash # ### BEGIN INIT INFO # Provides: adblock-curl # Short-Description: Enable Adblock (curl version) for LEDE / OpenWrt / Gargoyle # Homepage: http://jazz.tvtom.pl/adblock-w-openwrt-gargoyle/ # Requires: curl ca-certificates ### END INIT INFO # WORKDIR='/mnt/sda3/hosts' BLACKLISTS='https://adaway.org/hosts.txt https://raw.githubusercontent.com/PolishFiltersTeam/KADhosts/master/KADhosts.txt http://hosts-file.net/ad_servers.txt http://jazz.tvtom.pl/download/hosts.txt http://mirror.cedia.org.ec/malwaredomains/justdomains http://pgl.yoyo.org/as/serverlist.php?hostformat=hosts;showintro=0;mimetype=plaintext http://s3.amazonaws.com/lists.disconnect.me/simple_malvertising.txt http://someonewhocares.org/hosts/hosts http://sysctl.org/cameleon/hosts http://winhelp2002.mvps.org/hosts.txt http://www.malwaredomainlist.com/hostslist/hosts.txt' WHITELIST='http://jazz.tvtom.pl/download/hosts.whitelist' IP='0.0.0.0' do_start() { if ! [ `uci -q get dhcp.@dnsmasq[0].addnhosts` ] ; then uci add_list dhcp.@dnsmasq[0].addnhosts=$WORKDIR/hosts uci commit dhcp fi if [ -f $WORKDIR/hosts ] ; then do_restart else do_reload fi } do_reload() { if [ ! -d $WORKDIR ] ; then mkdir $WORKDIR fi : > $WORKDIR/hosts.temp for url in $BLACKLISTS ; do file=`echo $url | cut -d '/' -f 3 | sed 's/[[:punct:]]/_/g'` echo -e -n "Downloading $url" curl $url -o $WORKDIR/$file -L -s -z $WORKDIR/$file size=`wc -l < $WORKDIR/hosts.temp` cat $WORKDIR/$file | cut -d '#' -f 1 | grep -E -o '([a-zA-Z0-9](-?[a-zA-Z0-9])*\.){1,}[a-zA-Z]{2,}' | sed "s/.*/$IP \0/g" >> $WORKDIR/hosts.temp echo -e '\e[32m' $((`wc -l < $WORKDIR/hosts.temp`-$size)) '\e[39mhosts' done echo 'Sorting' echo -e '127.0.0.1 localhost\n::1 ip6-localhost\n' > $WORKDIR/hosts sort $WORKDIR/hosts.temp | uniq >> $WORKDIR/hosts WHITELIST="`wget -qO- $WHITELIST`" for site in $WHITELIST ; do sed -i "/^$IP $site/d" $WORKDIR/hosts done do_restart } do_restart() { echo 'Restarting Dnsmasq' /etc/init.d/dnsmasq restart echo 'Done' } do_stop() { if [ `uci -q get dhcp.@dnsmasq[0].addnhosts` ] ; then uci delete dhcp.@dnsmasq[0].addnhosts uci commit dhcp fi do_restart } do_disable() { do_stop rm -f -r $WORKDIR } case "$1" in start|enable ) do_start ;; reload ) do_reload ;; restart ) do_restart ;; stop ) do_stop ;; disable ) do_disable ;; * ) echo "Usage: $0 start|stop|restart|reload|enable|disable" >&2 exit 3 ;; esac |
Działanie skryptu kontrolowane jest przez 4 parametry:
WORKDIR– wskazuje katalog, gdzie zapisywane są czarne listy, zarówno tymczasowe jak i ostatecznie wygenerowana;BLACKLISTS– zawiera adresy URL list serwerów do zablokowania;WHITELIST– zawiera adres URL białej listy czyli listy adresów, które z jakiś względów nie powinny być zablokowane. Zawsze lepiej jest zablokować mniej niż za dużo. Tworząc białą listę możemy posiłkować się wyrażeniami regularnymi.IP– domyślnie niebezpieczne serwery przekierowywane są na adres127.0.0.1czylilocalhost, jeśli chcemy dokonać przekierowania pod inny adres IP podajemy go w tej zmiennej, jeśli nie – pozostawiamy pustą. Ciekawą propozycją jest podanie adresu IP pixelserv, o instalacji którego będzie pod koniec wpisu.
Adblock (wget version) w LEDE / OpenWrt / Gargoyle
Jeśli z jakiś względów wolisz starszą, oryginalną wersję skryptu opartą na wget poniżej ją prezentuję. Skrypt do działania wymaga doinstalowania 2 pakiety: wget i ca-certificates:
|
1 2 |
opkg update opkg install wget ca-certificates |
Jedyną różnicą w stosunku do wersji bazującej na curl jest to, że czarne listy są ścigane przy każdej aktualizacji, niezależenie czy na serwerach uległy zmianie czy nie.
Data ostatniej modyfikacji skryptu adblock-wget to
|
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 |
#!/bin/ash # ### BEGIN INIT INFO # Provides: adblock-wget # Short-Description: Enable Adblock (wget version) for LEDE / OpenWrt / Gargoyle # Homepage: http://jazz.tvtom.pl/adblock-w-openwrt-gargoyle/ # Requires: wget ca-certificates ### END INIT INFO # HOSTSDENY='/mnt/sda3/hosts/hosts' HOSTSTEMP='/mnt/sda3/hosts/hosts.temp' BLACKLISTS='https://adaway.org/hosts.txt https://raw.githubusercontent.com/PolishFiltersTeam/KADhosts/master/KADhosts.txt http://hosts-file.net/ad_servers.txt http://jazz.tvtom.pl/download/hosts.txt http://mirror.cedia.org.ec/malwaredomains/justdomains http://pgl.yoyo.org/as/serverlist.php?hostformat=hosts;showintro=0;mimetype=plaintext http://s3.amazonaws.com/lists.disconnect.me/simple_malvertising.txt http://someonewhocares.org/hosts/hosts http://sysctl.org/cameleon/hosts http://winhelp2002.mvps.org/hosts.txt http://www.malwaredomainlist.com/hostslist/hosts.txt' WHITELIST='http://jazz.tvtom.pl/download/hosts.whitelist' IP='0.0.0.0' do_start() { if ! [ `uci -q get dhcp.@dnsmasq[0].addnhosts` ] ; then uci add_list dhcp.@dnsmasq[0].addnhosts=$HOSTSDENY uci commit dhcp fi if [ -f $HOSTSDENY ] ; then do_restart else do_reload fi } do_reload() { : > $HOSTSTEMP for url in $BLACKLISTS ; do wget -O- $url | cut -d '#' -f 1 | grep -E -o '([a-zA-Z0-9](-?[a-zA-Z0-9])*\.){1,}[a-zA-Z]{2,}' | sed "s/.*/$IP \0/g" >> $HOSTSTEMP done echo 'Sorting' echo -e '127.0.0.1 localhost\n::1 ip6-localhost\n' > $HOSTSDENY sort $HOSTSTEMP | uniq >> $HOSTSDENY WHITELIST="`wget -qO- $WHITELIST`" for site in $WHITELIST ; do sed -i "/^$IP $site/d" $HOSTSDENY done do_restart } do_restart() { echo 'Restarting Dnsmasq' /etc/init.d/dnsmasq restart echo 'Done' } do_stop() { if [ `uci -q get dhcp.@dnsmasq[0].addnhosts` ] ; then uci delete dhcp.@dnsmasq[0].addnhosts uci commit dhcp fi do_restart } do_disable() { do_stop if [ -f $HOSTSDENY ] ; then rm $HOSTSDENY fi if [ -f $HOSTSTEMP ] ; then rm $HOSTSTEMP fi } case "$1" in start|enable ) do_start ;; reload ) do_reload ;; restart ) do_restart ;; stop ) do_stop ;; disable ) do_disable ;; * ) echo "Usage: $0 start|stop|restart|reload|enable|disable" >&2 exit 3 ;; esac |
Działanie skryptu kontrolowane jest przez 5 parametrów, 3 z nich BLACKLISTS, WHITELIST oraz IP zostały omówione powyżej, więc nie będę się powtarzał. Natomiast zamiast WORKDIR mamy:
HOSTSDENY– wskazuje lokalizację pliku z listą serwerów do zablokowania;HOSTSTEMP– wskazuje tymczasową lokalizację pliku z listą serwerów do zablokowania;
Instalacja skryptu oraz aktualizacja
Niezależnie od wybranej wersji dalsze postępowanie będzie identyczne. Skrypt zapisujemy w wybranej przez nas lokalizacji np. /mnt/sda3/bin. Nadajemy mu prawa wykonywania:
|
1 |
chmod +x /mnt/sda3/bin/adblock-curl |
Skrypt adblock wywołujemy z odpowiednim parametrem:
startlubenable– włącza blokowanie stron,stop– zatrzymuje blokowanie stron,reload– uaktualnia listę blokowanych stron,restart– restartuje Dnsmasq,disable– zatrzymuje blokowanie stron i usuwa wszystkie pliki stworzone przez skrypt.
Na koniec możemy zadbać o automatyczną aktualizację pliku hosts.deny, w tym celu posłużymy się oczywiście cron-em:
|
1 |
crontab -e |
i dopisujemy na końcu linijkę:
|
1 |
0 3 * * 0 /mnt/sda3/bin/adblock-curl reload |
Jak widać sugeruję aktualizację raz w tygodniu w godzinach nocnych.
Gotowy plik hosts.deny (oczywiście z domyślnym IP 127.0.0.1) dostępny jest na mojej stronie pod adresem /download/hosts. Aktualizowany jest zgodnie z powyższym harmonogramem. Plik ten możesz wykorzystać wprost w programach blokujących reklamy działających w oparciu o pliki HOSTS. Przykładem może tu być aplikacja AdAway działająca pod kontrolą systemu operacyjnego Android. AdAway nie jest dostępna w sklepie Google Play, ale możesz ją ściągnąć z repozytoriów F-Droid.
AdAway – Hosts sources
Pixelserv – eliminujemy komunikaty przeglądarek
Pixelserv do poprawnego działania Adblocka nie jest konieczny, jednakże jak słusznie zauważył w komentarzu kolega daro, niektóre strony z zablokowanymi reklamami nie wyglądają za dobrze – w miejscu reklamy pojawia się komunikat, że dana strona nie jest dostępna. Wygląd tego komunikatu zależy jest od przeglądarki. Jeśli nie chcesz ich oglądać, pomocny będzie pixelserv – czyli serwer WWW, którego jedynym zadaniem jest zaserwowanie jednopixelowego pliku GIF.
Konfigurację OpenWrt / Gargoyle zaczniemy od dodania aliasu adresu IP dla naszego routera, na który to adres przekierowywać będziemy żądania wyświetlania reklamy (parametr IP w skrypcie). Wybieramy zatem jakiś pierwszy, lepszy, nieużynany w naszej sieci lokalnej adres IP np. 192.168.1.2. W skrypcie ustawiamy ten adres w w parametrze IP.
|
1 2 3 4 5 6 7 |
uci add network alias uci set network.@alias[-1].interface=lan uci set network.@alias[-1].proto=static uci set network.@alias[-1].ipaddr=192.168.1.2 uci set network.@alias[-1].netmask=255.255.255.0 uci commit network /etc/init.d/network restart |
W tej chwili nasz router powinien być widocznym pod dwoma adresami, sprawdzimy to wchodząc na stronę routera pod adresem http://192.168.1.2/.
Teraz zajmiemy się instalacją pixelserv, serwującego jednopixelowy plik GIF jako stronę komunikatu błędu, nasłuchującego na porcie 81. Do tego oczywiście potrzebujemy samego pliku GIF, który ściągnąć możemy z tego bloga. Mamy to do wyboru aż cztery propozycje. Ja wybrałem pierwszą, czyli przeźroczysty obrazek zgodny ze specyfikacją GIF89a. Plik ten umieściłem w katalogu /www_vargalex, gdyż używam OpenWrt vargalex build, Wy możecie go umieścić w katalogu /www lub utworzyć nowy np. /www_pixelserv, tak jak to zostało pokazane poniżej.
|
1 2 |
mkdir /www_pixelserv wget -O /www_pixelserv/blank.gif http://probablyprogramming.com/wp-content/uploads1/2009/03/tinytrans.gif |
Drugim plikiem jaki powinniśmy utworzyć w katalogu naszego Pixelserv to plik index.html, który będzie informował użytkownika zablokowanej strony dlaczego jej nie widzi, przykładowa najprostsza strona:
|
1 2 3 4 5 6 7 8 9 10 |
<!DOCTYPE html> <html> <head> <title>Strona zablokowana</title> </head> <body> <h1>Strona zablokowana</h1> <p>Strona zablokowana przez skrypt <a href="/adblock-w-openwrt-gargoyle/">Adblock for OpenWrt / Gargoyle</a></p> </body> </html> |
Nasze dalsze postępowanie zależne będzie od tego jaki serwer WWW mamy już zainstalowany na routerze, i tak w przypadku OpenWrt z LuCI musimy skonfigurować nową instancję serwera uHTTPd:
|
1 2 3 4 5 6 7 |
uci add uhttpd uhttpd uci rename uhttpd.@uhttpd[-1]=pixelserv uci add_list uhttpd.@uhttpd[-1].listen_http=0.0.0.0:81 uci set uhttpd.@uhttpd[-1].home=/www_pixelserv uci set uhttpd.@uhttpd[-1].error_page=/blank.gif uci commit uhttpd /etc/init.d/uhttpd restart |
Natomiast w przypadku Gargoyle, nową instancję serwera httpd_gargoyle uruchomimy komendą:
|
1 |
httpd_gargoyle -d /www_pixelserv -p 81 -PNF /blank.gif & |
którą warto dopisać do pliku /etc/rc.local oczywiście przed ostatnią komendą exit 0, aby pixelserv startował automatycznie po restarcie routera.
Pora na kolejny test – pod adresem http://192.168.1.2:81/jakaś_nieistniejąca_podstrona (lub http://192.168.1.1:81/jakaś_nieistniejąca_podstrona powinien znajdować się nasz jednopixelowy GIF.
Na koniec musimy jeszcze dodać do naszego firewalla regułkę przekierowującą żądania wyświetlania reklamy z 192.168.1.2:80 na adres pixelserv 192.168.1.2:81 (lub 192.168.1.1:81).
|
1 2 3 4 5 6 7 8 9 10 11 12 |
uci add firewall redirect uci set firewall.@redirect[-1].target=DNAT uci set firewall.@redirect[-1].proto=tcp uci set firewall.@redirect[-1].src=lan uci set firewall.@redirect[-1].src_dip=192.168.1.2 uci set firewall.@redirect[-1].src_dport=80 uci set firewall.@redirect[-1].dest=lan uci set firewall.@redirect[-1].dest_ip=192.168.1.2 uci set firewall.@redirect[-1].dest_port=81 uci set firewall.@redirect[-1].name=pixelserv uci commit firewall /etc/init.d/firewall restart |
Teraz jednopixelowy GIF powinien być już pod adresem http://192.168.1.2/jakaś_nieistniejąca_podstrona.
Na koniec nie pozostaje mi nic innego jak tylko przekonać nieprzekonanych poniższym zrzutem ekranu.
Adblock w OpenWrt / Gargoyle działa
Skryptowi Adblock poświęcony jest wątek na polskim forum Gargoyle.