iMacros: Поиск и заказ скриптов | Форум Mozilla Россия

Привет!
Уже есть настроенный парсинг (iMacros 8.9.7 c джава в Basilisk 2021.01.05 (64-bit) [он на базе мозилы, кто не знал]), который собирает информацию с фотобанка (см. спойлер ниже) о картинках по заданным в текстовом файле ключевым словам на заданную глубину и сохраняет в другой текстовый файл. Скрипт приложил в спойлере в конце.

Все работает хорошо, но нужно существенно ускорить процесс (раз в 10-20). Сейчас скрипт работает в одной вкладке, поочередно открывая картинки. Много времени уходит на ожидание открывания каринки. Есть идея как это ускорить (делюсь ниже).

скрытый текст

Войдите или зарегистрируйтесь, чтобы увидеть скрытый текст.

Несколько лет назад мне нужно было удалить 100000 картинок с этого же сайта. Не будучи профессионалом я сумел настроить тогда Аймакрос (без джава, я в нем не разбираюсь), чтобы он сначала открывал до 100 новых вкладок без перехода на них. (Было записано кликание средней кнопкой мышки в каком-то спец режиме. Был хром или мозила. Точно не помню.) Пока Аймакрос доходил до открывания последних, то добрая половина уже была загружена. А затем скрипт прыгал по уже открытым вкладкам (начиная с первых открытых) выполняя действия. И выходило очень быстро, т.к не было необходимости ждать их загрузки. Пока собиралась информация с первых вкладок, успевали загрузиться оставшиеся. Таким образом загрузка страниц происходила как бы в фоновом режиме. Затем все 100 вкладок закрывались и цикл провторялся. Так удалось удалить 100000 файлов за достаточно короткое время.

Сейчас я сам не смог добиться подобного открывания. Да и джава я не знаю. Автор скрипта не смог ускорить процесс. Готов заплатить тому, кто доработает скрипт, чтобы он мог работать по выше изложенной методике в мозиле или другими способами оптимизирует сбор информации. И желательна (но не обязательна) мелкая правка скрипта. Сейчас он заходит на стартовую страницу и вводит ключевое стлово из первой строки текстового файла, а нужно чтобы сразу проходил по ссылке из того же файла.
Готов установить любые версии браузеров/аймакросов - лишь бы работало.
Спойл со скриптом:

скрытый текст

Выделить код

Код:

var Depth = parseInt(prompt("Number of listings per keyword (Depth)","200"));
var Pages = prompt("do pages navigation (yes/no)","yes")

var Read = "";
Read += "CODE:" + "\n";
Read += "SET !DATASOURCE keywords.txt" + "\n";
Read += "SET !DATASOURCE_LINE {{Row}}" + "\n";
Read += "add !EXTRACT {{!COL1}}" + "\n";

var Search = "";
Search += "CODE:" + "\n";
Search += "SET !ERRORIGNORE YES" + "\n";
Search += "SET !TIMEOUT_PAGE 30" + "\n";
Search += "SET !TIMEOUT_STEP 10" + "\n";
Search += "TAB T=1" + "\n";
Search += "TAB OPEN" + "\n";
Search += "TAB T=2" + "\n";
Search += "TAB CLOSEALLOTHERS" + "\n";
Search += "URL GOTO=https://www.shutterstock.com/" + "\n";
Search += "WAIT SECONDS=1" + "\n";
Search += "TAG POS=1 TYPE=INPUT:TEXT ATTR=NAME:searchterm CONTENT={{Keyword}}" + "\n";
Search += "TAG POS=1 TYPE=BUTTON ATTR=DATA-AUTOMATION:SearchBar_search_iconButton" + "\n";
Search += "WAIT SECONDS=5" + "\n";
Search += "TAG POS=1 TYPE=H1 ATTR=TXT:*<SP>images" + "\n";


var GetLink = "";
GetLink += "CODE:" + "\n";
GetLink += "SET !TIMEOUT_STEP 0" + "\n";
GetLink += "TAG POS={{Pos}} type=a attr=data-track-label:gridItem extract=href" + "\n";


var Data = "";
Data += "CODE:" + "\n";
Data += "SET !ERRORIGNORE YES" + "\n";
Data += "SET !TIMEOUT_PAGE 30" + "\n";
Data += "SET !TIMEOUT_STEP 10" + "\n";
Data += "TAB T=1" + "\n";
Data += "TAB OPEN" + "\n";
Data += "TAB T=2" + "\n";
Data += "URL GOTO={{Link}}" + "\n";
Data += "TAG POS=1 TYPE=SPAN ATTR=TXT:By<SP>*" + "\n";
Data += "WAIT SECONDS=1" + "\n";
Data += "SET !TIMEOUT_STEP 0" + "\n";
Data += "TAG POS=1 TYPE=BUTTON ATTR=TXT:Show<SP>all" + "\n";
Data += "WAIT SECONDS=1" + "\n";
Data += "tag pos=1 type=div attr=data-automation:ExpandableKeywordsList_container* extract=htm" + "\n";
Data += "TAG POS=1 TYPE=SPAN ATTR=TXT:Categories:<SP>* extract=txt" + "\n";


var Save = "";
Save += "CODE:" + "\n";
Save += "SET !ERRORIGNORE YES" + "\n";
Save += "SET !TIMEOUT_STEP 0" + "\n";
Save += "ADD !extract {{Keyword}}" + "\n";
Save += "ADD !extract {{Count}}" + "\n";
Save += "ADD !extract {{!Urlcurrent}}" + "\n";
Save += "TAG POS=1 TYPE=P ATTR=TXT:*<SP>ID:<SP>* extract=txt" + "\n";
Save += "ADD !extract {{Tags}}" + "\n";
Save += "ADD !extract {{Cat}}" + "\n";
Save += "TAG POS=1 TYPE=H1 ATTR=* extract=txt" + "\n";
Save += "tag pos=1 type=img attr=data-automation:PictureFrame_highRes_img extract=href" + "\n";
Save += "tag pos=1 type=a attr=data-track-label:contributorLink extract=href" + "\n";
Save += "tag pos=1 type=a attr=data-track-label:contributorLink extract=txt" + "\n";
Save += "SAVEAS TYPE=EXTRACT FOLDER=* FILE=ShutterStock<SP>Data.csv" + "\n";
Save += "TAB CLOSE" + "\n";

var Header = "";
Header += "CODE:" + "\n";
Header += "add !extract search<SP>request" + "\n";
Header += "add !extract image<SP>position" + "\n";
Header += "add !extract url" + "\n";
Header += "add !extract text<SP>with<SP>ID" + "\n";
Header += "add !extract kws<SP>" + "\n";
Header += "add !extract Categories" + "\n";
Header += "add !extract description" + "\n";
Header += "add !extract image<SP>address" + "\n";
Header += "add !extract author<SP>url<SP>" + "\n";
Header += "add !extract author<SP>name" + "\n";
Header += "SAVEAS TYPE=EXTRACT FOLDER=* FILE=ShutterStock<SP>Data.csv" + "\n";

var CheckNext = "";
CheckNext += "CODE:" + "\n";
CheckNext += "SET !TIMEOUT_STEP 0" + "\n";
CheckNext += "TAG POS=1 TYPE=A ATTR=TXT:Next extract=href" + "\n";

var ClickNext = "";
ClickNext += "CODE:" + "\n";
ClickNext += "SET !ERRORIGNORE YES" + "\n";
ClickNext += "SET !TIMEOUT_PAGE 30" + "\n";
ClickNext += "SET !TIMEOUT_STEP 10" + "\n";
ClickNext += "TAB T=1" + "\n";
ClickNext += "TAG POS=1 TYPE=A ATTR=TXT:Next extract=href" + "\n";
ClickNext += "TAB OPEN" + "\n";
ClickNext += "TAB T=2" + "\n";
ClickNext += "TAB CLOSEALLOTHERS" + "\n";
ClickNext += "URL GOTO={{!extract}}" + "\n";
ClickNext += "TAG POS=1 TYPE=H1 ATTR=TXT:*<SP>images" + "\n";
ClickNext += "WAIT SECONDS=1" + "\n";



iimPlay(Header)

var Row=1;
while(true)
{
iimSet("Row",Row)
iimPlay(Read)

if (iimGetLastError() != "OK") break;

iimDisplay("Keyword " + Row)

var Keyword = iimGetLastExtract();

iimSet("Keyword",Keyword)
iimPlay(Search)

var Count = 0;
main:
while(true)
{

var Pos=1;
while(true)
{
iimSet("Pos",Pos)
iimPlay(GetLink)

if (iimGetLastExtract() == "#EANF#") break;

iimDisplay("Keyword " + Row + "\n" + "Image " + (Count + 1) + " / " + Depth)

iimSet("Link",iimGetLastExtract())
iimPlay(Data)

var Tags = iimGetLastExtract(1).replace(/(<([^>]+)>)/ig,'~').replace(/~~/g,'~');
Tags = Tags.substr(2,Tags.length-4).replace(/ /g,'_').replace(/~/g,' ');

var Cat = iimGetLastExtract(2).replace("Categories:","").trim();

Count++;

iimSet("Keyword",Keyword)
iimSet("Count",Count)
iimSet("Tags",Tags)
iimSet("Cat",Cat)
iimPlay(Save)
Pos++;

if (Count == Depth) break main;

}

if (Pages.toUpperCase() != "YES") break;

iimPlay(CheckNext)
if (iimGetLastExtract() == "#EANF#") break;

iimPlay(ClickNext)

}
Row++;
}
iimDisplay("")

PS. Хотя сейчас уже не уверен, что поможет предложенный мною вариант. Даже, если и наладить открывание множества вкладок, то мозила 56 очень медленно работает с ними (я попробовал вручную открыть штук 20). Все таки браузер староват наверное.... А задача остается не решенной. Уже думаю за приобретение iMacrosa Professional, чтобы с хромом использовать...