OrtoTex4XPL

Nástroje, utility, SW udělátka, Xdgets, doplňky ...

Re: OrtoTex4XPL

Příspěvekod djbuldog » 14 dub 2016, 11:52

jo, já si myslím, že minimálně kontrolují ještě session id, které se ukládá do cookies. V době vytvoření skriptu to fungovalo dobře :D Ale oni ten web asi celkem často mění. Budu to muset asi znovu prozkoumat :D
Uživatelský avatar
djbuldog
 
Příspěvky: 172
Registrován: 11 led 2015, 10:23
Bydliště: Brno

Re: OrtoTex4XPL

Příspěvekod masa » 14 dub 2016, 12:07

Tak mi to nedalo, Chrom umi celkem pekne ukazat http hlavicky, tak jsem do skriptu nakopcil to co posilal v cookie po tom overeni a vypada to, ze mi na to skocil :) Otazka jak dlouho mu vydrzi presvedceni, ze nejsem robot...
Obrázek
Uživatelský avatar
masa
 
Příspěvky: 420
Registrován: 30 pro 2014, 22:31
Bydliště: Praha 5

Re: OrtoTex4XPL

Příspěvekod djbuldog » 14 dub 2016, 12:36

super :) To jsem rád, že se ho podařilo přemluvit :D
Já myslím, že by to mohlo vydržet dlouho. Jak zrušili tu klasickou stránku, tak se možná ty cookies teď ve skriptu neinicializují.
minimálně by to šlo asi upravit tak, že by si skript vyžádal v průběhu nový obsah cookies, když by to přestalo stahovat :)
Uživatelský avatar
djbuldog
 
Příspěvky: 172
Registrován: 11 led 2015, 10:23
Bydliště: Brno

Re: OrtoTex4XPL

Příspěvekod masa » 14 dub 2016, 12:46

No ja mu to hodil vedle toho user agenta takhle...

Kód: Vybrat vše
req.add_header('cookie', 'HSID=AdvpNRkrvO...')


Myslim, ze neni potreba to nejak specialne v tom skriptu resit. Jinak v ty cookie je neco jako GOOGLE_ABUSE_EXEMPTION, coz se asi nastavi tim opsanim kodu.

Kazdopadne ted to jede a uz celkem dlouho bez zadrhnuti. Nejakych dalsich 100 vyslednych ctvercu uz mam...
Obrázek
Uživatelský avatar
masa
 
Příspěvky: 420
Registrován: 30 pro 2014, 22:31
Bydliště: Praha 5

Re: OrtoTex4XPL

Příspěvekod djbuldog » 16 dub 2016, 12:12

Trochu jsem skript vylepšil :)
- opravil jsem automatickou detekci verze gmaps
- DSF/POL se už nevytváří vždy, jen když je uživatel fakt chce
- OpenCV knihovna je vyžadována jen při zapnuté funkci remove logo
- soubory se stahují pomocí jednoho připojení (keep-alive), což je rychlejší (asi 2.5x)
- přidal jsem možnost zadat počet procesů (neměl by překračovat počet CPU), které budou požity pro převod na DDS (je to časově nejnáročnější operace)
- přidal jsem ukazatel průběhu

přikládám malou ukázku...
Kód: Vybrat vše
..
Downloading square (36048,22576) 8x8 images
Downloading took 4.81597900391 s
Merging square (36048,22576) 8x8 images
Marging took 1.26971888542 s
Waiting for finishing some of 3 forks (convert to DDS)
DDS convert took 13.0642528534 s (fork with pid 998)
Converting img to DDS
- command: "./DDSTool" --png2dxt1 arg1 arg2 "/tmp/orto4xpl//texture/g2xpl_8_16_36048_42952.png" "/tmp/orto4xpl//texture/g2xpl_8_16_36048_42952.dds"
- forking... child pid is 1016
*** Finished 30% (275 of 900) squares in time 1676.07482386
..

dal jsem si stahovat jeden čtverec v ZL16 a zatím mám 30% po 28 minutách.
škoda, že ty mapové podklady na google nejsou pořád moc kvalitní (barevně stabilní). přijdou mi i dost tmavé

Update:
jo a ještě jsem přidal skript pro zjištění GPS souřadnic z těch .ter souborů.. časem možná zapojím přímo do skriptu

Kód: Vybrat vše
./find_coords.py /opt/X-Plane\ 10/Custom\ Scenery/z_CZ_49_16-terrain/terrain/
50.021858 16.018066 - 48.994637 17.028809
Uživatelský avatar
djbuldog
 
Příspěvky: 172
Registrován: 11 led 2015, 10:23
Bydliště: Brno

Re: OrtoTex4XPL

Příspěvekod djbuldog » 17 dub 2016, 15:45

provedl jsem další úpravy skriptu:
- přidána detekce chybějících obrázků.
- přidán parametr --fix-missing (určeno pro mapy.cz.. pokud obrázek chybí, použije se obrázek z gmap)
- vylepšena detekce chyb při stahování (například když google zablokuje IP a vrátí text místo obrázku)
- upraveno stahování (vybírá náhodně user agent, vybírá náhodně server, nastaven limit pro max počet požadavku v rámci jednoho spojení)

Řekl bych, že by to mohlo být už použitelné pro aktualizaci orto :D
Uživatelský avatar
djbuldog
 
Příspěvky: 172
Registrován: 11 led 2015, 10:23
Bydliště: Brno

Re: OrtoTex4XPL

Příspěvekod masa » 21 dub 2016, 12:45

Tak jsem zkusil a vypada to, ze nova verze chodi skvele ;) Zjistovani souradnic je super, stahovani taky chodi hned, bez jakychkoliv uprav uvnitr, takze parada. Mam pres to stazeny komplet ZL16 ctverec, ted to protahnu pres nejaky upravy obrazu a pak to snad konecne uvidim i v XPL. A ted me napadlo, ze by na ty upravy sel slusne pouzit Adobe Lightroom, ktery mam doma, asi otestuju :)
Obrázek
Uživatelský avatar
masa
 
Příspěvky: 420
Registrován: 30 pro 2014, 22:31
Bydliště: Praha 5

Re: OrtoTex4XPL

Příspěvekod djbuldog » 22 dub 2016, 12:59

A jaký čtverec vlastně zkoušíš? Lightroom prakticky neznám, ale jestli se ti podaří to nějak pěkně upravit, tak určitě ukaž vzorek :D
Uživatelský avatar
djbuldog
 
Příspěvky: 172
Registrován: 11 led 2015, 10:23
Bydliště: Brno

Re: OrtoTex4XPL

Příspěvekod masa » 22 dub 2016, 13:09

Jak je Breclav - Viden, silenej ctverec... Jako vcera jsem to dostal do XPL, ale ze bych z toho byl nejaky nadseny, to moc ne. Kazdopadne lepsi jak to co sem mel to je, tam byla Viden jeden velkej rozmazanej flek, ted uz tam mam pekne baraky :) Prusvih je, ze v tom ctverci jsou snad 4 ruzne tonovany segmenty. Hlavni je takovy nebarevny tmavy neco, to jsem pekne projasnil a obarvil, ale samozrejme jsem to udelal globalne, takze casti co byly svetly a barevny mam zas silene prepaleny. A nejaky rucni prochazeni tech 800 obrazku jsem po chvili vzdal... Kazdopadne OrtoTex4XPL funguje perfektne ;)
Obrázek
Uživatelský avatar
masa
 
Příspěvky: 420
Registrován: 30 pro 2014, 22:31
Bydliště: Praha 5

Re: OrtoTex4XPL

Příspěvekod djbuldog » 22 dub 2016, 14:37

tak zrovna ten čtverec jsem zkoušel taky :) Něco bylo lepší a něco horší než původní. Barevně to tam dost lítá, ale alespoň tam už nejsou ty rozmazané.. no, je to přesně jak píšeš :) Upravit to ručně by byla hrozná práce. Možná by to šlo poloautomaticky :) Že by se skriptem seskupily obrázky podobné barvy a uživatel by pak pro každou skupinu definoval jak jej normalizovat :)
Uživatelský avatar
djbuldog
 
Příspěvky: 172
Registrován: 11 led 2015, 10:23
Bydliště: Brno

Předchozí

Zpět na Nástroje a doplňky

Kdo je online

Uživatelé procházející toto fórum: Žádní registrovaní uživatelé a 1 návštěvník

cron