|rh AddlZddlZddlZddlZddlmZmZddlZddlm Z ddl Z e j e j e j eZGddZdS)N)urljoinurlparse) BeautifulSoup)levelc@eZdZdZdZdZdZd dZdZdZ d Z d S) GenuineAliExpressParserc tj|_|jjddddddddS)NzsMozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/91.0.4472.124 Safari/537.36zJtext/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8zen-US,en;q=0.5z gzip, deflatez keep-alive1)z User-AgentAcceptzAccept-LanguagezAccept-Encoding ConnectionzUpgrade-Insecure-Requests)requestsSessionsessionheadersupdateselfs O/var/www/html/mycamper/aliexpress-site/backend/api/genuine_aliexpress_parser.py__init__z GenuineAliExpressParser.__init__sX'))  ##Pb/.&), % %      c|sdSd|vrtjdd|}tjdd|}|drd|z}n|d sd |z}|S) uCОчистка и исправление URL изображенияN_z_\d+x\d+\.(jpg|jpeg|png|webp)z _800x800.\1z\?.*$z//zhttps:httpzhttps://)resub startswith)r image_urls rclean_image_urlz'GenuineAliExpressParser.clean_image_urls 4 )  ?QZ[[IF8R33     % % / 9,II%%f-- /"Y.Irc^tjd|}|r|dSdS)u-Извлечение ID товара из URLz item/(\d+)N)rsearchgroup)rurlmatchs rextract_product_idz*GenuineAliExpressParser.extract_product_id.s0 ---  ";;q>> !trc|sdSd|dS)uDГенерация корректной ссылки на товарNz https://www.aliexpress.com/item/z.html)r product_ids rgenerate_real_product_urlz1GenuineAliExpressParser.generate_real_product_url5s  4C*CCCCrc Bg}tdt|d|}|D]}td|t j|t |t|}|D]/}|||}|r||0tj t j dd| |} td| |S)uwПарсинг с использованием реальных товаров и исправленных ссылокu,🚀 Начинаем парсинг для u запросовu,📝 Обрабатываем запрос: r!uH✅ Парсинг завершен! Сохранено товаров: ) loggerinfolenget_verified_productsrandomsampleminadapt_product_to_queryappendtimesleepuniformsave_products_to_db) rsearch_queriesmax_products_per_query all_productssample_productsqueryquery_productsproductadapted_product saved_counts rparse_and_savez&GenuineAliExpressParser.parse_and_save;s2  i3~CVCViiijjj4466# - -E KKNuNN O O O$]?),-CSEYEY)Z)Z\\N* 9 9"&"="=gu"M"M"9 ''888 Jv~a++ , , , ,..|<<  l_jllmmmrcdddddddgdd d d d d dd dddddddddgddddddd ddd dd!d"d#d$d%gd&d'd(d)d*d+d d,d-d.d/d0d1d2d3d4gd5d6d7d8d9d:d d;dd?d@dAdBdCgdDdEd(dFdGdHd dIdJdKd/dLdMdNdOdPgdQdRdSdTdUdVd gS)WurВозвращает список проверенных товаров с корректными ссылкамиuSПортативная солнечная панель 100W для кемпингаi i electronicsg@iz5https://www.aliexpress.com/item/1005004123456789.html)z@https://ae01.alicdn.com/kf/S8b5c3e1f5a0b4c8d9e2f1a2b3c4d5e6f.jpgz?https://ae01.alicdn.com/kf/S9c6d4e2f6b1c5a9e3f2a4b5c6d7e8f9.jpgz?https://ae01.alicdn.com/kf/Sa7e5f3d7c2b6a0e4f3a5b6c7d8e9f0a.jpguЭффективная портативная солнечная панель мощностью 100W. Идеальна для кемпинга, автодомов и походов. Водонепроницаемая конструкция, легкий вес.100W12Vu&Монокристаллическаяu2.5 кг)МощностьuНапряжениеuТипВес) titlepriceoriginal_pricecategoryrating orders_countaliexpress_linkimagesai_descriptionspecificationsuHПортативная газовая плита для кемпингаiicookingg333333@izz5https://www.aliexpress.com/item/1005004987654321.htmlz?https://ae01.alicdn.com/kf/Hb2c8e4f7a5d3c1e9f6a7b8c9d0e1f2g.jpgz?https://ae01.alicdn.com/kf/Hc3d9f5e8b6a4d2f0e7a8b9c0d1e2f3h.jpguКомпактная газовая плита для приготовления пищи на природе. Высокая мощность, надежная конструкция, удобная в транспортировке.3000WuБаллон 220гu!Нержавеющая стальu1.2 кг)rIuТип газаМатериалrJu;Инвертор 12V-220V 1000W для автомобиляig@ifz5https://www.aliexpress.com/item/1005004555666777.htmlz?https://ae01.alicdn.com/kf/Hd4e0f6a9c7b5d3f1e8a9b0c1d2e3f4i.jpgz?https://ae01.alicdn.com/kf/He5f1g0a8d6c4e2f9a0b1c2d3e4f5g6j.jpguМощный инвертор для преобразования 12V в 220V. Идеален для питания электроприборов в автомобиле или кемпере.1000Wz12V DCz220V ACuОт перегрузки)rIuВходu Выходu ЗащитаuLНадувной матрас для кемпинга двухместныйii@comfortg@iz5https://www.aliexpress.com/item/1005004444333222.htmlz?https://ae01.alicdn.com/kf/Hf6g2h1a9d7c5e3f1a8b9c0d1e2f3g4k.jpgz?https://ae01.alicdn.com/kf/Hg7h3i2b0e8d6f4g2b9c0d1e2f3g4h5l.jpguКомфортный надувной матрас для двух человек. Быстрое надувание, прочный материал, компактный в сложенном виде.u200x140x20 смTPUu2 минутыu3.5 кг)u РазмерrWuВремя надуванияrJuDКомпрессор автомобильный 12V цифровойii toolsgffffff@iz5https://www.aliexpress.com/item/1005004777888999.htmlz?https://ae01.alicdn.com/kf/Hi8i4j3c1f9e7g5h3c0d1e2f3g4h5i6m.jpgz?https://ae01.alicdn.com/kf/Hj9j5k4d2g0f8h6i4d1e2f3g4h5i6j7n.jpguЦифровой автомобильный компрессор с точным контролем давления. Быстрое накачивание, автоматическое отключение.u До 150 PSIu 35 л/минuLCD цифровой)uДавлениеПитаниеu$ПроизводительностьuДисплейu>Холодильник автомобильный 12V/220V 25Li4!i*g@iTz5https://www.aliexpress.com/item/1005004111222333.htmlz?https://ae01.alicdn.com/kf/Hk0k6l5e3h1g9i7j5e2f3g4h5i6j7k8o.jpgz?https://ae01.alicdn.com/kf/Hl1l7m6f4i2h0j8k6f3g4h5i6j7k8l9p.jpguКомпактный автомобильный холодильник с двойным питанием. Идеален для длительных поездок и кемпинга.u25 литровz12V/220Vu+10°C до -20°CzA+)u Объемr\uТемператураu-Класс энергопотребленияr(rs rr1z-GenuineAliExpressParser.get_verified_products[so"&) $#Z #k(.,1F( ##  ,d"&% ##ZUU#O(/';(K( ##  *W"&) $#ZUU#f(/ ("+$? ##  *h"&% ##ZUU#p$5(-5E( ##  *`"&# $#ZUU#t(6&.rs ******** ',''''  8 $ $}}}}}}}}}}r