3D Уеб дизайн представя Joomla Scraper, разработен от нас скрапер и грабер за Joomla.



Joomla Scrapper е високотехнологичен grabber и Aggregator който може да аграгира и импортира в базата данни на Joomla много rss feeds и ПЪЛНИЯ ТЕКСТ на оригиналната новина, а не само съкратеното съдържание което е в rss емисията.

Joomla Scraper има всички функции на Joomla Aggregator Platinum плюс десетина нови функции които му позволяват да краде пълното съдържание и да уникализира съдържанието по-добре. Алгоритъма на скрапера е оптимизиран, лек и надежден.

Скрапер версията на Joomla Aggregator също така има пълна интеграция с компонента K2 и импортира картинките в таб Pictures на K2.

Стандартни функции на Joomla Aggregator Platinum:

Неограничен брой rss фийдове
Може да поства в K2
Може да генерира на 100% уникално съдържание
Случаен html code функция
Тагове генерирани от заглавието
Може да импортира тагове в интегриран tag component
Custom tags at end/start of tags
Случайна подредба на таговете

Функция заместване със синоними
Функция добавяне на съдържание - може да добавя html код преди/след всака новина
Случаен избор на html код за добавяне
Може да превежда rss feeds на 80 езика през Google translate
Може да сваля картинките във фийда и да ги записва вътре във вашия сайт
Може да преоразмерява картинките
Изпраща Email репорти при импорт
Автоматизира се лесно чрез cronjobs
Ново след 16.05.2011: Може да разбърква автоматично съдържанието с интегриран article spinner.


Функции добавени в grabber-а, разлики между Joomla Scraper и Aggregator Platinum:

1. On/Off на скрапер функциите
2. Starting HTML - a HTML който показва къде започва пълния текст на сайта източник, например: <div id="article". Ако полето е празно, грабера ще вземе частта от RSS feed и ще се опита да разбере къде започва останалия текст.

3. Ending HTML - a HTML който показва къде съвршва пълния текст който искаме да вземем от сайта източник, например:

Тогава scraper-а цялото съдържание до този HTML таг на оригиналната страница.

Полето не може да бъде оставено празно! Ако е празно, скрапер функцията ще се изключи сама.

4. Search text length - брой символи в RSS feed-а - за да се определи къде започва пълния текст. Ползвайте това пола само ако Starting HTML не е попълнено!

5. Strip tags - да изчиства ли HTML таговете. Ако го включите ще може да импортирате в сайта само текст.

6. Allowed tags - Разрешени тагове. Ако горната опция е включена, може да разрешите някои HTML тагове които да не се изчистват от съдържанието. Например може да премахвате само линковете и да оставите <img>, <strong>, <p>, <br>, <br/>

7. Detect JS redirect - някои RSS емисии крият линка към пълното съдържание от граберите чез Read More URL адрес презredirect. Ако тази опция е включена грабера ще се опита да намери автоматично линка към пълната новина.

8. Импорт на мета данни в К2 и импорт на картинки в К2.
9. Работа с големи бази данни със синоними!
10. Поддръжка на спин формат и артикъл спинър.


Екранни снимки от ВСИЧКИ функции на Джумла Скрапер


K2 функции и главни настройки в Joomla Scraper:


Редиректи и скрапер в Joomla Scraper


Функции за публикуване в Joomla Scraper


Article spinner и content seo функции в Joomla Scraper:


Бази данни със синоними в Joomla Scraper



Google Translate функции в Joomla Scraper
(Google translate функцията не работи, Google translate вече е платена услуга на Гоогле)



Функции за сваляне на картинките в Joomla Scraper


Мета таг функции в Joomla Scraper


Крон функции в Joomla Scraper:


Емайл репорт функции в Joomla Scraper


Кеш функции в Joomla Scraper:


Ignore list функции в Joomla Scraper



Възможности с Joomla Scraper

1. Вие можете да откраднете със Scraper-а цялото съдържание от всеки уебсайт, без значение дали е включено в rss фийда или не.
2. Можете да крадете само съдържанието което искате и да премахнете html таговете които не желаете (като линкове и реклами).
3. Можете да вземете от сайта който скрапвате не само съдържанието на новината, вие можете да вземете и съдържанието с коментарите например.
4. Можете да взимате много съдържание от много и различни уеб сайтове и всичко това да работи автоматично по ваш гарфик (сайт 1 се скрапва в понеделник в 8 часа сутринта, уеб сайт две се скрапва само в делнични дни на всеки два часа, а сайт три се скрапва всеки ден в 10:15, 18:15 и в 23 часа).
5. Можете да променяте съдържанието което импортирате в сайта автоматично за да се класира по-високо в google (google няма да разпознае съдържанието като дублирано)



Ъпгрейд от по-ниска версия
Joomla Aggregator Platinum и Joomla Scraper са напълно съвместими. Ако ъпгрейдвате, можете да унинсталирате старата версия и да качите новата през стандартния инсталатор на джумла или просто да качите новите файлове през фтп върху старите. Вашите rss емисии ще се запазят.

Имайте предвид че в скрапера има нови параметри и ще трябва да влезете във всяка рсс емисия и да зададете настройките й наново!

Цени на грабера за Joomla:
Скраперът за Joomla е наличен за онлайн покупка. Joomla Scraper с абонамент за три ъпдейта - 49 USD - около 70 лева. Онлайн покупка.
Upgrade от Joomla Aggregator Platinum - 21 USD - около 30 лева. Онлайн покупка: Scraper plugin for Joomla Aggregator Platinum.

Опитвам да настроя cronjobs на един впс на делта бг, но нещо не се получава
ползвам кода

(cronnews.php - така е преименуван оригиналния крон файл, заради тази тема https://3dwebdesign.org/forum/index.php?sho...45&hl=cron

като пусна крона ми вади съобщение No output generated

П.п
Как да се справим с дублираните новини, понякога дублира съдържание (статии), когато взимаме от същия източник отново.

Това Scraper версията ли е? Ако да, тя има перфектна защита срещу вкарване на дублирано съдържание, но трябва да се включи.



Когато е включена, ако в базата данни има новина със същото заглавие втора със същото заглавие не се импортира а се прескача.

За да работи крона се използва това:

Създайте файл с име mycron.php. Код за този php файл:


Качете файла mycron.php в public_html. Създайте cronjob в cpanel:


Пуснете крона на всеки 15 или 5 минути (препоръчително). Командата за целта изглежда така:

мерси версията е
Aggregator 1.5.4 Scraper имам подобна опция и я включих, остава само да оправя крона

с това пробвах


при делта.бг не е cpanel а Virtualmin, възможно ли е /usr/local/bin/php тук да е различен този път

дава ми следната грешка
/bin/sh: /usr/local/bin/php: No such file or directory

Много странно, точно когато включа опцията

точно тогава слага дублирано съдържание

П.п пробвам на един фиид слага дублирано съдържание

на друг фиид с
работи ок

досега всички фиидове бяха с изключен safe alias, да не би това да е проблема, че съдържанието е взето без тази настройка

Тази настройка вкарва в alias md5 hash на заглавието и при импорт сравнява стойностите - ако има съвпадение не импортира новината със същото заглавие (md5 hash). Провери записва ли се alias-а, ако има разни плъгини по сайта като протос сеф и уникоде слъгс които пишат в alias, може да не работи.

Версията е обновена - последната версия за Джумла 1.5 е 1.5.8, последната версия за Джумла 1.7 е 1.6.9

Подробности за новите функции: поддръжка на спин формат в текстовите полета и използване на големи синонимни бази данни.

Последната версия на Джумла Scraper работи с Джумла 2.5. Тествано е днес с версия 2.5.1.

В последната версия на скрапера която пуснахме преди седмица има също поддръжка на работа с големи синонимни бази данни от около и над 100 хиляди синонима и поддръжка на текст в спин формат - в conent seo функциите.

Последната версия на Джумла Scraper за Joomla 1.7 е 1.6.9, публикувана на 05.01.2012.
Последната версия на Джумла Scraper за Joomla 1.5 е 1.5.8, публикувана на 5 Януари 2012.

За кои езици става въпрос?

Имайте предвид че в този продукт няма включена синонимна база данни. Всяка rss емисия се настройва с коя база данни синоними да работи.

Можете да си добавите колкото искате бази данни със синоними на какъвто език искате. Давам за пример че аз на сайтовете на които използвам тази функционалност имам качени английска и бг база данни със синоними и някои фийдове са настроени да работят с английската а други с българската.

Вие може да имате сайт на 20 езика и да си качите 20 синонимни бази данни - по една за всеки език. Няма никакви ограничения.

Качени са скрийншотове от актуалната версия в първия пост. Джумла Скрапер работи с всички версии на Джумла: 1.5, 1.6, 1.7 и Джумла 2.5.

Кода за 20% отстъпка написан тук ще работи още около седмица.

Благодаря за бързия и изчерпателен отговор.

Кой е всъщност Джумла тулът, който има текст спинър функционалност и работи с различни езикови бази синоними? Каква е крайната цена с отстъпката?

Може ли по един пример за спиннати текстове на български, английски и немски? Мерси предварително!

Това е продукта: https://3dwebdesign.org/joomla-scraper
Крайната му цена с отстъпката е 59 лева.

Това е сравнение на всички агрегатори - има спинъри в 2-3 от моделите като например версията за Wordpress в която също има спинър струва 29 лева.

Не забравяйте че какъв резултат се получава при уникализирането на текстовете не зависи от нашия инструмент, а от качеството на вашата база данни със синоними която ще си качите!

Тук има примерни бази данни със синоними, може да се тества безплатно като се уникализира стандартен текст на ръка, а не rss фийд и не автоматично: unique articles

Да, разбира се. Задава му се да не чисти html таговете и готово.

Имайте предвид че последната версия има много нови екстри които не са описани тук, в българската част на форума. Ето кратка извадка от последните ъпдейти:

Докато си редактирам поста като излишен и сте ми отговорили ... Въпросът беше: дали се пренасят УРЛ връзките при импортването. Понеже си отговорих сам радактирах поста.

По скоро исках да може линк от вида

да се пренася понеже има плъгини които само линка им е достатъчен за да пуснат клипа във вграден плеер. Във фийда линка го има и във чист вид, но явно трябва да се променят доста неща. Просто новините които аз ползвам много често има само едно изречение и клип от Тубата.

Скрапера работи много добре, от няколко дена работи само а забелязвам увеличаване на посещенията от Гугъла

Има си опция за фийдове от Ютуб. Задаваш му валиден линк на рсс емисия от Ютуб (има два вида рсс-и: на потребителски профили и от търсене по ключова дума), включваш опцията и агрегатора автоматично импортира и видеото в съдържанието въпреки че кодът за видеото не присъства във фийда.

RSS -сите от Тубата работят чудесно - закачил съм ги, но аз имах пред вид в друг RSS със някакво съдържание текстово в което има линк от вида:



в този случай в импортнатия текст няма нищо от линка или от кода за Тубата.

Никога не го е имало като функция, затова - никога и никъде в описанието на продукта също не е описано. Единствено ако в самата рсс емисия има код за флаш плеър или видео, то ще се импортира.

Да знам, че го няма никъде дадено като възможност, просто се интересувах. Между другото ето RSS код който съдържа линк от Ютуб и вграден плеер и не се импортва - просто за мнение изобщо възможно ли е?

По принцип е възможно да се направи, да. Но няма как всяка такава дреболия да се вкара вътре - предложенията за такива промени от наши потребители са десетки.

Доволен съм от работата му много ! Имам един въпрос - ако съдържанието което искам да взема не е свързано с RSS фийда има ли някакви специфични настройки в скрапера?

Ако не е свързано с RSS фийда няма как да го импортирате.