1.แบบอาศัยการจัดเก็บข้อมูลเป็นหลัก Crawler-Based Search Engine
Crawler-Based Search Engine คือ เครื่องมือค้นหาบนอินเทอร์เน็ต แบบอาศัยการบันทึกและจัดเก็บข้อมูลด้วยตัวเองเป็นหลัก ถือได้ว่าเป็น Search Engine ที่ได้รับความนิยมในปัจจุบัน โดยให้ความแม่นยำสูงและมีการประมวลผลการค้นหาที่รวดเร็ว
โดยหลักการทำงานจะอาศัยองค์ประกอบหลักๆอยู่ 2 ส่วน คือ
1). ฐานข้อมูลของตนเองที่มีระบบการประมวลผลและจัดอันดับการค้นหา
2). ระบบซอฟท์แวร์ ที่จะอาศัยโปรแกรมตัวเล็กๆ ของ Search Engine นั้นๆ โดยใช้การเก็บหรือสำเนาข้อมูลหน้าเพจใหม่ๆ ซึ่งโดยทั่วไปมักเรียกว่า Web Crawler หรือ Spider หรือ Search Engine Robots หรือในภาษาไทยเรียกกันง่ายๆ ว่า “แมงมุม”
……………………………………………………………………………………………
แมงมุมที่ว่านี้จะคืบคลาน(Claw) ไปในทุกๆเว็บไซต์ที่มันตรวจพบ โดยจะเน้นการมองหาเนื้อหาใหม่ๆ เว็บไซต์ใหม่ๆ หรือหน้าเพจเดิมที่มีการปรับปรุงเนื้อหา(Update Content)
ซึ่งการเก็บข้อมูลนี้จะอาศัยหลักการ “ไต่” ไปตามลิงค์ต่างๆของหน้าเพจที่กำลังทำการตรวจสอบอยู่และจะทำการ “สำเนาข้อมูล” ของหน้าเพจนั้นๆทั้งหมด ยกเว้นเอกสารตระกูล FLASH เช่น .swf แล้วจึงส่งข้อมูลที่ copy แล้วกลับไปยัง Server ต้นทางของตนเอง เพื่อทำการบันทึก(Page Index) ลงสู่ฐานข้อมูลขนาดใหญ่ (Search Engine Index Server) ซึ่งเมื่อใดก็ตามที่เราทำการค้นหาสิ่งที่เราต้องการ Search Engine Server จะเริ่มทำการประมวลผลจากฐานข้อมูลของตนเองที่ถืออยู่และแสดงผลการค้นหาออกมา
Search Engine Index Server ของ Google นั้นใช้ระบบปฏิบัติการของ Linux ทั้งระบบ ซึ่งจำนวน Server ที่ Google มีอยู่ตอนนี้ คือ 300,000 เครื่องทั่วโลก โดยใช้พื้นที่ในการเก็บข้อมูลเหล่านี้ไปทั้งสิ้นตอนนี้ มากกว่า 5 ล้าน Terabyte ไปแล้ว
.jpg)
Web Directory หรือ เว็บไดเร็คทอรี่ หรือที่คนไทยเรียกว่า “สารบัญเว็บไซต์” นั่นเอง ซึ่งในรูปแบบนี้จะอาศัยหลักการง่ายๆเหมือนสมุดหน้าเหลือง ที่เนื้อหาแยกเป็นหมวดหมู่ และจัดทำดัชนีไว้แล้วอย่างเป็นระเบียบชัดเจน
ข้อดีคือ เราสามารถเข้าไปดูข้อมูลของเว็บไซต์ทั้งหมดที่มีข้อมูลเกี่ยวข้องกัน และสามารถนำเอาข้อมูลเหล่านั้นมาเปรียบเทียบกับเว็บไซต์อื่นๆ ได้เลย
สำหรับการโปรโมทเว็บวิธีง่ายๆโดยไม่ต้องอาศัยเทคนิคอะไรเลย แค่เริ่มที่ขั้นตอนการลงทะเบียนเว็บไซต์ของเราลงสู่ระบบ ซึ่งเราต้องกรอกรายละเอียดของเว็บไซต์ของเรา เช่น ชื่อเว็บไซต์, URL, รายละเอียดอย่างย่อ, หมวดหมู่ของเว็บไซต์ที่เหมาะกับเว็บไซต์ของเรา คำค้นที่เราต้องการ
จากนั้นข้อมูลการลงทะเบียนของเว็บไซต์ของเราก็จะถูกส่งไปยังผู้ดูแลของสารบัญเว็บไซต์นั้นๆ หรือเรียกว่า Editor ซึ่งหากเรากรอกรายละเอียดได้อย่างครบถ้วน และเลือกหมวดหมู่ที่ถูกต้องกับเนื้อหาของเว็บไซต์แล้ว ทางผู้ดูแลก็จะอนุมัติข้อมูลการลงทะเบียนนั้น ลงสู่ฐานข้อมูลของสารบัญเว็บไซต์ให้
สารบัญเว็บไซต์นั้น จะเน้นเรื่องความถูกต้องของหมวดหมู่ เว็บไซต์ต่างๆให้มากที่สุด ทั้งในส่วนของผู้ลงทะเบียนเว็บไซต์ ที่ต้องเลือกหมวดหมู่ที่ตรงกับเนื้อหาของเว็บไซต์ตน ให้ถูกต้อง และ Editor ที่ต้องตรวจสอบความถูกต้องอีกทีหนึ่งและยังต้องแก้ไขหรือเพิ่มเติมหมวดหมู่เว็บไซต์ใหม่ๆตลอดเวลา
…………………………………………………………………………………….
ก่อนจะรู้จักกับ Search Engine ประเภทนี้ เราคงต้องมาทำความรู้จักกับอีกหนึ่งชุดคำสั่งที่มักจะอยู่ใน Code HTML ตามหน้าเพจต่างๆกันก่อน ซึ่งก็คือ “ชุดคำสั่ง Meta Tag” นั่งเอง
Meta Tag คือชุดแท็กคำสั่งที่ใช้สำหรับการประกาศข้อมูลสำคัญต่างๆของเอกสารหน้าเพจนั้นๆ เช่น ชื่อผู้พัฒนา, เจ้าของเว็บไซต์, คีย์เวิร์ด, คำอธิบายย่อของเว็บไซต์โดยจะปรากฏในส่วนหัวของเอกสารเว็บ (Head Section) มีหน้าที่แจ้งข้อมูลสำคัญๆ ให้กับ Search Engine Robots ได้ทราบ
Search Engine ประเภทนี้ จะไม่มีระบบฐานข้อมูลของตนเอง แต่จะอาศัยข้อมูลจาก Search Engine Index Server จากที่อื่นหลายๆที่ นำเอามาประมวลผลร่วมกัน ทำให้เกิดผลการค้นหาที่หลากหลาย แต่ในทางตรงกันข้าม ผลการค้นหาที่หลากหลายเหล่านั้น มักได้ผลลัพธ์ออกมาไม่เที่ยงตรงเท่าทีควร เนื่องจากยังต้องอาศัยข้อมูลจาก Search Enginr Index Server จากที่อื่นหลายๆที่มารวมกัน
ฉะนั้น ชุดคำสั่ง Meta Tag จึงจำเป็นมากสำหรับเว็บไซต์ที่ต้องการทำ Ranking สูงๆ กับ Meta Search Engine โดยเฉพาะ
