Delphi > Obecné

Hromadné spracovanie obrázkov ?

<< < (2/3) > >>

miroB:

--- Citace: Radek Červinka  07-11-2024, 11:14:27 ---No já jsem něco podobného dělal ve stylu:
- mam uložené originály
- při požadavku na seznam obrazku jsem si sáhnul do cache na disku, kde jsem měl zmenšené obrázky na cca 256 pixelu v jednom směru, pokud tam nejsou v cache, tak jsem ho z originálu resiznul a ulozil do cache pro priste (resize je celkem nárocna operace)

to je tak vsechno co ti mohu poradit

--- Konce citace ---
Čo presnejšie máš na mysli pre "cache na disku"? Niečo ako existujúce thumbnails, ktoré vyrobí windows explorer? Sú prístupné cez nejaký Shell, alebo?
Inak si viem zrejme na disk extrahovať aj thumbnails, ktoré sú priamo súčasťou origo obrázku.
Ale celkove mám predstavu o viacerých verziách jednoho obrázku pre rôzne účely (hromadné zobrazovania, rýchle prezeranie mini obrázkov, ale aj obrázkov v nejakej "poctivejšej" veľkosti).

Je tu ešte jedna opomenutá technická otázka: Máte informácie o max počte súborov v jednej jedinej knižnici, aby to nejak nebrzdilo môj systém?
Napríklad starší televízor Samsung (asi rok 2014/16) vie nahrávať filmy, ale neodporúča sa viac ako 800 súborov na jednu knižnicu externého disku (ten mám 6TB, takže hafo miesta). Telka používa nejakú verzia linuxu. A je pravda, že keď sa blížim tomu počtu tak blbne. Ten disk viem čítať aj na PC (iba manipulácia so súbormi, nie pozeranie, to je šifrované).
Hmm, práve mi Copilot poradil, nech nedám len jeden adresár so 100tisíc+ súbormi, ale odporúča aspoň jednu vnorenú úroveň. Napríklad 100 knižníc v root a tam po 1000+ súboroch. Prípadne pridať ešte jednu vrstvu podknižníc. Sľubuje rýchlejší prístup a manipuláciu, tiež aj stabilitu systému oproti 100tisíc+ súborom v jednej knižnici.
To aj pre prípad, že filtrovanie prebehne v databáze a ja budem mať vždy už len smerník (fullname) pre vybraný súbor

miroB:
Už som pochopil, že cache na disku bude súvisieť z thums.db
Prístup ku cache na disku sa rieši pomocou "CoThumbnailCache", teda práca s COM.
Ale v zásade tú vlastnosť (tvorbu Thumbs.db) chcem skôr cielene vypnúť pre moju pracovnú knižnicu, pretože chcem vlastné náhľady, predbežne v týchto veľkostiach:

* 320x240
* 640x480
* formát blížiaci sa 4K, možno menej, pre rýchle prezeranie na obrazovkách
* originál (jeho veľkosť môže byť 2, 10, ale aj 50MB)Takže by to bolo 4 x 100 x 1000+ zbytočne generovaných thumbs vo Windows Explorer
Preto musím zakázať túto vlastnosť pre svoju pracovnú knižnicu. (Ostatné disky a knižnice svojho PC normálne používam, takže očakávam klasické správanie Explorera)
Pre Windows 11 Pro (iný systém v rodine nebude), sú dve možné riešenia ako zakázať tvorbu Thumbs pre vybranú knižnicu:

* Použitie Group Policy (gpedit.msc)
* Úprava RegistryJednu z nich si vyberiem, ale musím ešte preskúmať. Tnetoraz som sa pýtal ChatGPT:)

Radek Červinka:

--- Citace: miroB  07-11-2024, 19:14:21 ---Už som pochopil, že cache na disku bude súvisieť z thums.db

--- Konce citace ---
Ne, to byla moje cache, nic spolecneho s explorerem, kompletne v moji rezii.

Jan Fiala:
Muzes to resit slozkami - miniatury / prohlizeni / velke (nepovinné, pokud velikost je vetsi a ty jsi vyrobil verzi k prohlizeni)
Pro rychly nahled se miniatury zobrazi okamzite, podle nazvu souboru (tvuj guid) pak muzes u sveho prohlizece zobrazit verzi pro prohlizeni nebo tu velikou, pokud je k dispozici.

miroB:
Je pre mňa zaujímavé, že 100tisíc+ súborov v jednej knižnici je pre systém NTFS horšie ako 100knižníc a v nich cca 1000+ súborov.
Niektoré veci vyskúšam. Asi aj prípad s vyššou úrovňou vnorenia knižníc. Prípadne spravím pokus o uloženie do SQLite databázy (samostatná attached databáza len pre veľké obrázky). SQLite sa chváli vysokým výkonom až na úrovni súborového systému.
Neprogramiujem naplno, lebo ešte stále riešim byt a poriadok a len pomaly hľadám priestor pre prácu.
Keď mám čas plánujem si postup. A konzultujem tiež s ChatGPT a Copilot. ChatGPT sa nejak zlepšil za posledné mesiace.
Možno som prílš optimista, ale programovanie sa zdá byť minimálne zábavnejšie s pomocou AI. Možno príde časom aj zvýšená podpora pre lokálne NPU akcelerátory:)

Myslím, že nebude problém pozmeniť niektoré nastavenia keď už spracovanie dát rozbehnem.
Ako prvé sa mienim držať odporúčaní, potom môžem venovať čas aj testom s modifikáciami. Rozsah je cca 700+ GB (vstupné údaje) pri očakávaných  100tisíc+ unikátnych fotografií. Je veľa duplikátov a podobných obrázkov, za dlhé roky zberu. Nejaké pokusy nad konkrétnymi údajmi už mám za sebou tak nejde o krok úplne do vzduchoprázdna. Jediné, čo som vôbec nerobil je samotné zálohovanie (súbory s generovaným GUID názvami, resp. uloženie do databázy. To s tou databázou asi nebude dobrá cesta, ale pokus možno dám )

Fyzicky mám 2 počítače, starší s CPU Ryzen 3700X (2019) so 64 GB RAM (3400MHz), novší má Ryzen AI 9 HX 370, ale len 32 GB RAM LPDDR5X 7500Mhz. Novší má aj NPU s 50 TOPS - pre budúcu podporu AI. Podľa benchmarkov by mal byť ten novší o ca 30% rýchlejší.

Údaje pre výpočet a aj pre výslednú prácu budú vždy lokálne na porovnateľných SSD diskoch.

Pokúsim sa držať Delphi 10.2 Tokyo, aby som niekde s D 12.2 nenarazil.

Cieľom je aby sa dal výsledok pozerať na lacných MiniPC s Intel N100 a 16MB RAM. Výsledné údaje očakávam v rozsahu 300+ GB údajov po vyfiltrovaní. Budú na lokálnom SSD disku. Prezeranie bude založené najmä na viacvrstvovom filtrovaní.

Dám vedieť.

Navigace

[0] Seznam témat

[#] Další strana

[*] Předchozí strana