Axtar sistemlri haqqnda qsa mlumat nternetin nhng mlumat

Yeni Tədris metodları: VİDEO DƏRSLƏR, ONLINE TESTLƏR.

VİRTUAL-KURS.COM

Yeni Tədris metodları: VİDEO DƏRSLƏR, ONLINE TESTLƏR.

Sayfalar

• Ana Səhifə
• İnformatika VİDEO DƏRSLƏRİ
• Riyaziyyat VİDEO DƏRSLƏRİ
• Blogger VİDEO DƏRSLƏRİ
• MBA VİDEO DƏRSLƏRİ
• MƏQALƏLƏR
• ONLINE Testlər
• informatika
• ƏLAQƏ

14.08.2020

Axtarış sistemləri və BIG data

Axtarış sistemləri və Böyük Verilənlər (BIG data)

Axtarış sistemləri (search engine)

• İnternetda lazım olan informasiyanın əldə edilməsi üçün axtarış sistemlərindən istifadə edilir. Bu sistemlər axtarışı açar sözlərə (keywords) görə həyata keçirir.
• Məşhur axtarış sistemlərinə google, yandex, yahoo, bing, arama.com, Archie (ilk axtarış sistemi hesab edilir) misal ola bilər

Axtarış sistemlərinin işləmə qaydası

• Axtarış sisteminin proqramı – internetdə olan milyonlarla yazı içərisində axtarış aparır;
• Hörümçək (spider) və ya soxulcan (crawler) – internetdə daim «sürünərək» yeni məlumatlar haqqında informasiyanı indeksləyiciyə çatdırır;
• İndeksləyici – soxulcanın ötürdüyü məlumatları indeksləyir, nəticədə həmin məlumatlar axtarış sistemində görünə bilir.

Adətən axtarış nəticəsində tapılan məlumatlar axtarışa uyğunluq dərəcəsinə – relevantlığa görə sıralanır. Yəni, əvvəlcə axtarışa ən uyğun olan nəticələr göstərilir.

Əlverişlı axtarış

• Fraza üzrə axtarış – daha dəqiq nəticələr almaq üçün dırnaq işarələrindən (“”) istifadə etmək olar. Məsələn googl-da informatika dərsləri yazaraq axtarış etdikdə tərkibində informatika dərsləri, informatika və ya dərsləri olan məlumatlar tapılacaq. Bu ifadəni dırmaqda yazdıqda isə konkret olaraq tərkibində informatika dərsləri ifadəsinin olduğu səhifələr (ardıcıllıq nəzərə alınmaqla) tapılacaq və nəticələrin sayı daha az olacaq.
• Riyazi əməllər vasitəsi ilə axtarış – axtarışın daha dəqiq nəticələnməsi üçün + və – işarələrindən də istifadə etmək olar.
• Məntiqi əməllər vasirəsi ilə axtarış – axtarış zamanı AND, OR, NOT məntiqi əməllərindən də istifadə edilə bilər.

Axtarışlar formaları

BIG DATA – böyük verilənlər

• Kompüterlərin yarandığı vaxdan etibarən rəqəmsal informasiyanın həcmi davamlı şəkildə artır. İnternetin geniş yayılmasından sonra isə bu artım daha da kəskinləşmişdir. Səthi yanaşdıqda demək olar ki, rəqəmsal informasiyanın çoxluğu faydalıdır – istədiyimiz məlumatı tapa bilərik. Lakin məlumat çoxluğu lazım olan informasiyanın tapılmasını çətinləşdirir. Eyni zamanda internetdə reallığı əks etdirməyən məlumatlar da yayılır.
• Çoxsaylı verilənlər toplusunu ifadə etmək üçün Big Data (böyük verilənlər) termini istifadə edilir.

Big data ilə bağlı üç anlayış – 3V

1. Volume (həcm) – verilənlərin həcmini ifadə edir;
2. Velocity (sürət) – informasiyanın hansı sürətlə emal edilə bilməsini xarakterizə edir;
3. Variety (çeşidlilik) – verilənlərin çeşidliliyinin (müxtəlifliyinin) nə səviyyədə olmasın.

Ümumiləşdirsək, böyük verilənləri bu 3 xüsusiyyətlə xarakterizə etmək olar: verilənlərin həcmi nə qədərdir, verilənləri hansı sürətlə emal etmək mümkündür və verilənlərin müxtəlifliyi nə sviyədədir.

Böyük verilənlərin istifadə sahələri

• Elmi araşdırmalar, dövlət idarəçiliyi, rabitə, istehsal və s.
• Sosial şəbəkələr – sosial şəbəkə istifadəçiləri haqqında şəxsi məlumat, onların nəyi bəyənməsi, maraq dairələri (hansı tip videolara baxdıqlar).

Sosila şəbəkələr üçün Big data analizində süni intellektdən də istifadə edilir. Süni intellekt sizin maraq dairənizə uyğun videoları, reklamları, paylaşımları sizə göstərərək, sizi sosial şəbəkələrə «bağlayır».

Big data saxlama və emal texnologiyaları

• Verilənlərin intellektual analizi (data mining) – verilənlərin süni intellekt və qərar qəbuletmə sistemləri ilə analizi.
• NoSQL (Not Only SQL) – daimi dəyişən verilənlərin (məsələn sosial şəbəkələrdə olan məlumatların) analizi.
• MapReduce – paylanmış hesablamalar modelidir. Verilənlər üzərində paralel hesablamalar aparır. Map lazım olan verilənləri «xəritədən» tapır, Reduce isə onları toplayıb analiz edir.
• Hadoop – informasiya həcmi çox olan saytlarda (facebook, eBay, Amazon . ) axtarışları həyata keçirmək üçün istifadə olunur.

QEYD: materialın hazırlanması zamanı əsasən orta məktəb İnformatika dərsliklərindən istifadə edilmişdir.

Axtar sistemlri haqqnda qsa mlumat nternetin nhng mlumat

İnternetin nəhəng məlumat bazası hər saniyə yeni xəbərlərlə zənginləşir. İnternet genişləndikcə bu şəbəkə vasitəsilə dünyanın istənilən nöqtəsində yaşayan insanlarla virtual ünsiyyət qurmaq, məktublaşmaq, on-line rejimində keçirilən müxtəlif forumlarda iştirak etmək, kitab, jurnal və qəzetlərin elektron versiyalarını oxumaq, alışveriş etmək, radio dinləmək, televiziya verilişlərinə tamaşa etmək, gündəlik hadisələr haqqında operativ məlumatlar almaq mümkündür. Bu xidmətləri əldə etmək üçün insanlar ilk növbədə İnternetdəki axtarış sistemlərindən istifadə edirlər.

Axtarış sistemlərini qısa tarixi n İnternet şəbəkəsində informasiya resurslarına ilk müraciətlərin təşkili üsullarına saytların kataloqlarının yaradılması olmuşdur. Bu kataloqlarda informasiya resurslarının ünvanları mövzu üzrə qruplaşdırılırdı. İlk belə kataloq Yahoo (1994) layihəsi idi. Yahoo kataloqunda saytların sayının artması ilə əlaqədar olaraq layihə daxilində axtarış sistemi yaradıldı. Bu sistemi bütün tələbatlara cavab verən axtarış sistemi adlandırmaq olmazdı, belə ki, bu sistem İnternet mühitində deyil, yalnız kataloq daxilindəki informasiya resursları içində axtarış apara bilirdi. Kataloqlar çox nəhəng olsalar da onlar İnternetdəki resursların çox kiçik bir hissəsini əhatə edə bilirlər. Hal-hazırda ən böyük İnternetkataloq DMOZ (directory. mozilla. org və ya Open Directory Project) hesab edilir. 1998 -ci ildə yaradılmış kataloqda resursların sayı cəmi 5 milyondur. Müqayisə üçün bildirək ki, Google axtarış sistemində 8 milyarddan artıq sənəd saxlanılır.

n İlk axtarış sistemi 1994 -cü ildə yaradılmış Web. Crawler olmuşdur. n 1995 -ci ildə Lycos və Alta. Vista axtarış sistemləri yaradıldı. Alta. Vista üzün müddət liderliyini saxladı. 1997 -ci ildə Sergey Brin və Lari Peyc tərəfindən müasir dövrdə ən populyar axtarış sistemlərindən sayılan Google yaradıldı. n 1997 -ci ildə ilk rusdilli axtarış sistemi Yandex fəaliyyətə başladı. Müasir dövrdə İnternet mühitində 3 ən populyar, beynəlxalq axtarış sistemi fəaliyyət göstərir: Google, Yahoo və MSN Search (Bing). Hər üç axtarış sistemi öz verilənlər bazasına və axtarış alqoritminə malikdir.

n Bu gün İnternet mühitində minlərlə axtarış sistemi fəaliyyət göstərir. Lakin axtarış sistemlərinin sayının çox olmasına baxmayaraq İnternet istifadəçilərinin çox hissəsi Google və Yahoo serverlərinə üstünlük verirlər. İnternet istifadəçilərindən hər 10 nəfərdən 6 -sı axtarış sistemləri arasında lider sayılan Google severinə müraciət etməyə üstünlük verir.

n Google axtarış sistemi olub, Amerikanın Google Inc. Şirkətinə aiddir. 8 milyardddan çox veb-səhifəni indeksasiya edir. 2009 -cu ildən başlayaraq 191 dildə yazılmış informasiyanı tapa bilir. Eyni zamanda PDF, RTF, Post. Script, Microsoft Word, Microsoft Excel, Microsoft Power. Point və s. formatlarda olan sənədlərin axtarılmasını dəstəkləyir. Google Stenford tələbələri Larri Peyc və Sergey Brin tərəfindən yaradılmışdır. 1996 -cı ildə Back. Rub axtarış sistemi üzərində işləyən tələbələr, bu sistemdə istifadə etdikləri alqoritm əsasında 1998 -ci ildə Google sistemini yaratdılar, baxmayaraq ki Google. com domen adı 15 sentyabr 1997 -ci ildə qeydiyyatdan keçmişdir. n Google adı 10100 rəqəminin adından götürülmüşdür. n Axtarış Google-nin məlumat bazalarında axtarış yolu ilə həyata keçirilir. Onu da qeyd edək ki, Google sisteminin məlumat bazaları Agent adlanan xüsusi proqramlar vasitəsilə doldurulur və korrektə olunur. Minlərlə Google agent sistemləri, 24 saat müddətində, İnternetdəki resursları (Web səhifələri) indeksasiya edərək, əldə olunan informasiyanı uyğun məlumat bazalarına əlavə etməklə məşğuldurlar. İstifadəçinin Google sisteminə daxil etdiyi axtarış sorğusu məhz bu məlumat bazalarında aparılır. n Daxil edilmiş sorğuya cavab verən minlərlə, bəzən milyonlarla Web səhifələr tapılır. Bu səhifələrin hamısını bir-bir açaraq, onların məzmunu ilə tanış olmaq, vaxt nöqteyi nəzərdən, demək olar ki, qeyri mümkündür. İstifadəçiyə lazım olan məlumatların tapılması və axtarış dairəsini kiçiltmək üçün Google sorğu sisteminə inteqrasiya olunmuş xüsusi operatorlardan istifadə olunur. n Google axtarış sistemində mövcud axtarış operatorları və onlarla işləmək qaydaları ilə bağlı cədvəl verilmişdir. İnternet istifadəçisi bu operatorlardan tək və ya kompleks şəkildə istifadə edərək effektiv axtarışı təşkil etmək imkanlarını əldə edə bilər.

Məhşur axtarış sistemləri Google. com Bing. com Yandex. ru Yahoo. com Rambler. ru Ara. com. tr Amazon. com Bıekko. com

ELSEN INFORMATIKA

İnternetin nəhəng məlumat bazası hər saniyə yeni xəbərlərlə zənginləşir. İnternet genişləndikcə bu şəbəkə vasitəsilə dünyanın istənilən nöqtəsində yaşayan insanlarla virtual ünsiyyət qurmaq, məktublaşmaq, on-line rejimində keçirilən müxtəlif forumlarda iştirak etmək, kitab, jurnal və qəzetlərin elektron versiyalarını oxumaq, alış-veriş etmək, radio dinləmək, televiziya verilişlərinə tamaşa etmək, gündəlik hadisələr haqqında operativ məlumatlar almaq mümkündür. Bu xidmətləri əldə etmək üçün insanlar ilk növbədə İnternetdəki axtarış sistemlərindən istifadə edirlər.

Axtariş sistemlərinin müraciətlərin sayına görə fərqi

İnternet şəbəkəsində informasiyanın sürətli artması şəbəkədə lazım olan informasiyanın axtarışını çətinləşdirir. Ekspertlərin dediyinə görə İnternerlə ötürülən informasiyanın həcmi hər yarım ildə iki dəfə artır. Hər gün milyonlarla yeni sənədlər yaranır və axtarış sistemləri olmasa onların İnternetdə axtarışı mümkün olmazdı. Qlobal şəbəkədə milyardlarla informasiya resursları içində asanlıqla lazım olanı seçə bilən axtarış sistemlərinə tələbat artmaqdadır. İnternetdə müasir axtarış sistemləri fəaliyyət göstərir. Hələ bir-neçə il öncə belə bir fikir var idi ki, “İnternetdə hər şey var, lakin lazım olanı tapmaq mümkün deyil”. Lakin informasiya kataloqlarının, axtarış sistemlərinin və axtarış proqramlarının yaranması ilə vəziyyət dəyişmişdir. İndi çox zaman lazım olan informasiyanı İnternetdən tapmaq daha tez olur, nəinki masa üzərindəki kitabdan.

İnternetdə informasiya axtarışı – İnternet mühitində yığılmış sənədlər çoxluğu içində istifadəçinin əldə etməyə çalışdığı və bunun üçün daxil etdiyi xüsusi informasiya sorğusuna uyğun gələn faktlar və məlumatların axtarışı prosesdir. Problem ondadır ki, İnternet mühitindəki veb-saytlar və səhifələr xaotik yerləşir və yüz milyonlarla veb-saytın hamısını nəzərdən keçirmək qeyri-mümkündür.

Axtarış sistemi (Web search engine) və ya informasiya-axtarış sistemi (Information retrieval system) – İnternet şəbəkəsində soruşulan informasiyanın axtarışı, toplanması və sistemləşdirilməsi əməliyyatlarını yerinə yetirən portaldır.

Axtarış sisteml ə rinin q ı sa tarixi [ redaktə ]

İnternet şəbəkəsində informasiya resurslarına ilk müraciətlərin təşkili üsullarına saytların kataloqlarının yaradılması olmuşdur. Bu kataloqlarda informasiya resurslarının ünvanları mövzu üzrə qruplaşdırılırdı. İlk belə kataloq Yahoo (1994) layihəsi idi. Yahoo kataloqunda saytların sayının artması ilə əlaqədar olaraq layihə daxilində axtarış sistemi yaradıldı. Bu sistemi bütün tələbatlara cavab verən axtarış sistemi adlandırmaq olmazdı, belə ki, bu sistem İnternet mühitində deyil, yalnız kataloq daxilindəki informasiya resursları içində axtarış apara bilirdi. Kataloqlar çox nəhəng olsalar da onlar İnternetdəki resursların çox kiçik bir hissəsini əhatə edə bilirlər. Hal-hazırda ən böyük İnternet-kataloq DMOZ (directory.mozilla.org və ya Open Directory Project) hesab edilir. 1998-ci ildə yaradılmış kataloqda resursların sayı cəmi 5 milyondur. Müqayisə üçün bildirək ki, Google axtarış sistemində 8 milyarddan artıq sənəd saxlanılır.

İlk axtarış sistemi 1994-cü ildə yaradılmış WebCrawler olmuşdur.

1995-ci ildə Lycos və AltaVista axtarış sistemləri yaradıldı. AltaVista uzun müddət liderliyini saxladı. 1997-ci ildə Sergey Brin və Lari Peyc tərəfindən müasir dövrdə ən populyar axtarış sistemlərindən sayılan Google yaradıldı.

1997-ci ildə ilk rusdilli axtarış sistemi Yandex fəaliyyətə başladı. Müasir dövrdə İnternet mühitində 3 ən populyar, beynəlxalq axtarış sistemi fəaliyyət göstərir: Google, Yahoo və MSN Search (Bing). Hər üç axtarış sistemi öz verilənlər bazasına və axtarış alqoritminə malikdir.

Axtarış sisteml ə rinin ə sas x ü susiyy ə tl ə ri [ redaktə ]

İstənilən axtarış sistemi üzərinə düşən əsas vəzifə istifadəçiyə lazım olan informasiyanı tez bir zamanda və dəqiqliklə çatdırmaqdır. Axratış sistemlərinə olan əsas tələbat:

1. Dolğunluğu
2. Dəqiqliyi
3. Aktuallığı
4. Axtarış sürəti
5. Aydınlığı
Axtarış sistemləri informasiyanın İnternetdə axtarışını müxtəlif üsullarla həyata keçirirlər:

· 1-ci üsul. Kitabdakı məlumatı tapmaq üçün istifadə olunan mündəricat üsuludur. Ənənəvi və sadə hesab edilən bu üsulda kataloqlardan istifadə edilir. Bu kataloqlarda veb-səhifələrə istinadlar mövzular üzrə toplanır.

· 2-ci üsul. Vacib səhifələrə keçidlər mətndə göstərilir. İstifadəçi lazım olan səhifəyə keçmək üçün uyğun mətn yazılmış hiperistinaddan istifadə edir.

· 3-cü üsul. Axtarış predmet göstəricisi və ya indeksə görə aparılır. İndeks üsulunda açar sözlər və bu sözlərin yerləşdiyi səhifələrin ünvanları bazada yığılaraq saxlanılır. İstifadəçi açar sözü göndərməklə bu sözlər yazılan veb-səhifələri gəztizdirə bilir.

Bu gün İnternetin məşhur axtarış sistemləri indeksləşmə üsulunu dəstəkləyən prinsip üzrə işləyirlər. Bunun üçün axtarış sistemlərində axtarış maşını adlanan xüsusi proqramlardan istifadə edilir. Axtarış maşını – özündə xüsusi proqram və verilənlər bazasını birləşdirən alqoritm olub indekslərin təşkili və saxlanmasını həyata keçirən və bu indeklərin təyin etdikləri veb-səhifələrə keçidləri təqdim edir. Axtarış maşınlarının əsas komponentləri:

1. İndeksasiya modulu
2. Verilənlər bazası
3. Axtarış serveri
Müasir axtarış sistemləri özündə bir-neçə altsistemi birləşdirir:

1. Veb-agentlər . Serverlərin axtarışını təmin edir. Həmin serverlərdən lazım olan sənədləri seçərək emal sisteminə ötürür.

2. Emal sistemi . Sintaksis çeşidləmədən və standart operatorlardan istifadə etməklə alınan sənədləri indeksasiya edir.

3. Axtarış aparan sistemlər. Xidmət sistemindən sorğunu qəbul edərək emal edir, sorğuya görə indeks fayllarında axtarış aparır, topladığı keçid ünvanlarının siyahısını hazırlayır.

4. Xidmət sistemi . Kliyentdən axtarış sorğusunu qəbul edir, uyğun şəkildə dəyişdirir və indeks faylları ilə işləyən axtarış sisteminə göndərir, əldə olunan nəticəni kliyentə qaytarır.

Veb-agentlər və axtarış aparan sistemlər bir-birlərindən asılı olmayaraq işləyirlər. Veb-agentlər göndərilən sorğulardan asılı olmayaraq daima işləyirlər. Onların əsas vəzifəsi yeni informasiya serverləri haqqında məlumatları verilənlər bazasına ötürməkdir.

İstifadəçi göndərdiyi sorğu nəticəsində həyata keçirilən əməliyyatları vizual olaraq görmür. O, yalnız gətirilən keçidlərin siyahısını əldə edir. Bu siyahıda olur:

1. Səhifənin başlığı
2. Səhifənin URL ünvanı
3. Səhifənin saxlandığı veb-sayta keçid
4. Açar sözlər (indeks) tapılmış mətndən kiçik bir nümunə.

Bir çox saytlar axtarış sistemlərinin onları tanıması üçün SEO texnologiyasından (Search Engines Optimization, axtarış maşını ilə optimallaşma) istifadə edilir. Bu texnologiya əsasında axtarış sistemi həmin saytın ünvanını kliyentə təqdim etdiyi siyahının əvvəlinə əlavə edir.

Axtarış sisteml ə rin ə informasiya h ü cumlar ı haqq ı nda [ redaktə ]

Bu gün informasiya cinayətkarlığında İnternetdən daha aktiv və hərtərəfli istifadə edilməkdədir. İctimai rəyin yaradılması və ya dəyişdirilməsində, siyasi, iqtisadi və hərbi qərarların qəbulunda, informasiya resurslarına təsirdə, xüsusi hazırlanmış informasiyanın (dezinformasiyanın) yayılması planında İnternet geniş imkanlara malikdir. Dünyanın milyonlarla kompyuterini birləşdirən qlobal İnternet şəbəkəsi özünün forma və tərkibi baxımından müxtəlif xüsusiyyətli, sərhəd tanımayan şəbəkə resursları ilə cəmiyyətin sosial təşkilinin ayrılmaz hissəsinə çevrilmişdir. Bunu nəzərə alan kibercinayətkarlar çox zaman informasiya hücumlarını axtarış sistemlərinin imkanlarını nəzərə alaraq təşkil edirlər.