Thu gọn

Ý nghĩa:

• Sử dụng 3 mảng màu Red – Green – Blue (hệ màu chuẩn của máy tính) để thể hiện đây là sự kiện đặc trưng về tin học.
• Cách sắp xếp mảng màu: Blue là màu của hy vọng, Red là màu của quyết tâm, Green là màu của sự sinh sôi phát triển. Cuộc thi đưa ra một đỉnh cao tri thức và các thí sinh đăng ký tham gia với hy vọng chinh phục được đỉnh cao này. Để làm được điều đó, thí sinh phải quyết tâm rèn dũa, chiến đấu với bản thân và thi đua với các thí sinh khác. Qua quá trình tôi luyện, kiến thức đâm hoa kết trái và thí sinh hoàn thiện hơn tri thức của mình.
• Màu vàng tượng trưng vinh quang và sự sáng tạo. Cúp vàng vừa là mục tiêu, vừa là phương tiện giúp thí sinh đi đến được thành công.
• 3 chữ I, T, I là viết tắt của Information Technology Innovation (sáng tạo trong công nghệ thông tin)
• Chữ I cuối cùng trong cụm từ ITI được cách điệu thành hình người để khẳng định con người là nhân tố chủ thể của sự sáng tạo và quyết định sự thành công.

Ý nghĩa:

• Logo mang tên đầy đủ của một cuộc thi "ITICup2010"
• Trước logo là một biểu tượng của một con đường hướng ra xa, ý muốn gửi vào đây sự hoài bảo, vững chắc và luôn hướng vào một tương lai tốt đẹp, hướng về thời đại mà hẵn sẽ không ngừng phát triễn về CNTT, đồng thời cũng mở ra cho CNTT Việt Nam một tiềm năng mới đễ sánh với các nước khác trên thế giới.
• Biểu tượng màu vàng như một chiếc cup, một điều gì đó mà các bạn tham dự cuộc thi cần hướng tới, trên đầu chiếc cup có một biểu tượng gắn liền giống như khẳng định thêm cho ngành CNTT Việt Nam trong con mặt của bè bạn quốc tế.
• Màu sắc được thể hiện nói lên sự niềm tin của tuổi trẻ, sự khác khao của chiến thắng và đỉnh điểm của sự thăng hoa.

Lucene có thể đánh chỉ mục và làm cho văn bản được rút trích trở nên tìm kiếm được. Như hình 1 đã cho thấy, Lucene không quan tâm đến nguồn dữ liệu là gì, định dạng của nó ra sao, hay ngôn ngữ của nó là gì, miễn là có cách nào đó để tách phần văn bản ra từ nó. Điều đó có nghĩa là không có vấn đề gì trong việc đánh chỉ mục và tìm kiếm dữ liệu lưu trong các file: trang web từ xa, tài liệu trong hệ thống file cục bộ, các file text đơn giản, tài liệu Microsoft Word, file XML, HTML hoặc PDF, hay những định dạng nào mà có thể cung cấp thông tin văn bản, như tin nhắn, email, các đoạn chat, trang Wiki, mailling list.

Tương tự, với sự giúp đỡ của Lucene, người dùng có được sự trải nghiệm phong phú trong việc tìm kiếm toàn văn mà nhiều database không hỗ trợ hoặc hỗ trợ ở mức căn bản có giới hạn. Một khi tích hợp Lucene, người dùng có thể thực thi tìm kiếm bằng các câu truy vấn như +George +Rice -eat –pudding, Apple -pie +Tiger, animal:monkey AND food:banana.

Lucene cung cấp một giao diện lập trình ứng dụng (API) đơn giản nhưng mạnh mẽ, không đòi hỏi người dùng phải có quá nhiều kiến thức về kỹ thuật full text search. Để tích hợp Lucene vào ứng dụng, người dùng chỉ cần học cách sử dụng một số class cơ bản. Do Lucene là một thư viện Java, nó cho phép đánh chỉ mục và tìm kiếm tất cả thông tin dưới dạng văn bản, đây là ưu điểm khiến nó được cài đặt trong vô số các ứng dụng, điển hình là Mac OS X Finder, Apple’s iTunes, Wikipedia. Nó có thiết kế nhỏ gọn, đơn giản, cho phép nhúng trên nhiều môi trường như web và desktop.

Ngoài thư viện lõi của Lucene, lập trình viên còn được cung cấp thêm nhiều tiện ích thông qua các gói mở rộng, đóng vai trò như add-on chức năng. Một vài trong số chúng hầu như có mặt trong tất cả các ứng dụng, như gói spellchecker và gói highlighter. Các gói này được gom lại trong một khu vực riêng biệt gọi là “contrib”.

Website của Lucene (http://lucene.apache.org/java) là nơi lý tưởng để bắt đầu học cách sử dụng. Tại đây có các bài giảng, javadocs cho Lucene API, hệ thống theo dõi tính năng, các bản phân phối, Lucene Wiki (http://wiki.apache.org/lucene-java) chứa nhiều trang hướng dẫn từ cộng đồng.

Lucene tồn tại ở khắp mọi nơi, cho dù đa số người dùng không hề biết: etFlix, Digg, MySpace, LinkedIn, FedEx, Apple, Ticketmaster, SalesForce.com, Encyclopedia Britannica CD-ROM/DVD, Eclipse IDE, Mayo Clinic, tạp chí New Scientist, Atlassian (Jira), Epiphany, MIT’s OpenCourseware, DSpace và nền tảng Akamai’s EdgeComputing.

· Administration: theo dõi trạng thái của ứng dụng, cấu hình các thành phần khác nhau, chạy và dừng các máy chủ.

· Analytics: thống kê người dùng đang tìm kiếm gì, đưa ra lời hướng dẫn xem cái gì đang hoạt động và cái gì không.

· Scaling: đối với một ứng dụng tìm kiếm lớn, việc mở rộng theo cả khối lượng nội dung và số lượng yêu cầu tìm kiếm đồng thời là tính năng quan trọng.

1. Administration Interface

Search engine hiện đại là một phần mềm rất phức tạp và có vô số tính năng cần phải được cấu hình. Đối với crawler dùng để khai phá nội dung, administration interface phải cho phép đặt các URL gốc, tạo quy luật quyết định site nào crawler nên đến, những loại document nào nó nên duyệt qua, thời gian cho phép để đọc một document là bao lâu. Một số ví dụ khác có thể kể đến như mở, tắt máy chủ, quản lý các bản tái tạo (dùng để tăng mức độ sẵn sàng), tạo search log, kiểm tra toàn bộ sức khỏe của hệ thống, tạo và phục hồi các bản sao lưu.

Trong quá trình indexing, search engine có thể cho phép tinh chỉnh dung lượng RAM được sử dụng cho vùng nhớ đệm, số lượng các segment trộn cùng lúc, mức độ thường xuyên để cập nhật các thay đổi, hoặc khi nào tối ưu và xóa bỏ các chỉ mục. Administration interface cũng tổng kết một vài thông tin cơ bản về chỉ mục như đếm các segment và số lượng các phép xóa đang chờ thực hiện. Nếu có bất kỳ document nào gặp vấn đề khi đánh chỉ mục, hoặc câu truy vấn nào gặp lỗi ngoại lệ khi tìm kiếm thì cũng cần được hiển thị cho quản trị viên biết.

Nhiều ứng dụng tìm kiếm, ví dụ như trên desktop không cần thành phần giao diện quản trị. Ngược lại, những ứng dụng tìm kiếm trong doanh nghiệp lại có giao diện quản trị rất phức tạp được xây dựng trên nền web, hoặc bằng một số công cụ dòng lệnh.

2. Analytics Interface

Analytics interface thường được xây dựng dưới dạng web, chạy trên một máy chủ riêng, đóng vai trò như một bộ máy chuyên lập báo cáo. Việc phân tích dữ liệu tìm kiếm rất quan trọng, bởi vì nó giúp cho quản trị viên học được nhiều điều từ người dùng, điển hình như tại sao khách hàng lại mua hoặc không mua hàng hóa thông qua website, bằng cách theo dõi search log. Sự triển khai một search engine tốt mang lại khả năng khai phá dữ liệu cao. Website thương mại điện tử có thể từ thông tin tìm kiếm của người dùng – như những lần tìm kiếm nào chưa đem lại kết quả thỏa mãn, những kết quả nào được click, những sản phẩm nào được mua hoặc chưa mua sau mỗi lần tìm – để tối ưu trải nghiệm mua sắm.

3. Scaling

Khó khăn đặc biệt cho ứng dụng tìm kiếm là mở rộng về qui mô. Phần lớn các ứng dụng không có đủ nội dung cũng như lượng truy cập đồng thời để qui mô vượt quá một máy tính. Những ứng dụng lớn đặt ra yêu cầu sử dụng 2 hay nhiều máy tính riêng biệt để không bao giờ gặp lỗi (không có thời gian chết), hoặc có thể lấy một phần nội dung để bảo trì, nâng cấp mà không ảnh hưởng đến hệ thống.

Có 2 yếu tố cần được mở rộng: khối lượng nội dung và thông lượng truy vấn.

· Một khối lượng khổng lồ về nội dung cần phải được chia thành các mảnh nhỏ, sao cho mỗi máy tính tìm kiếm trên một mảnh. Máy chủ truy vấn gửi lệnh tìm kiếm tới tất cả các mảnh, sau đó tổng hợp các kết quả trả về thành một tập hợp kết quả duy nhất.

· Trong trường hợp thông lượng truy vấn trong thời gian đỉnh điểm là rất cao, biện pháp đặt ra là cài đặt bản tái tạo của chỉ mục trên nhiều máy tính khác nhau. Lúc này, máy chủ truy vấn sẽ cân bằng tải bằng cách gửi yêu cầu đến máy tính đang có ít công việc nhất.

Thông thường web search engine đòi hỏi mở rộng cả 2 yếu tố, do đó phải kết hợp cả 2 giải pháp nêu trên, chúng đều yêu cầu chia sẻ các bản sao chỉ mục trên nhiều máy tính.

Tuy nhiên, còn có những yếu tố khác cũng quan trọng không kém đối với quá trình searching. Như đã trình bày, tốc độ và khả năng tìm kiếm trên một khối lượng lớn văn bản là 2 trong số các yếu tố đó. Ngoài ra còn có thể kể đến như tính năng hỗ trợ câu truy vấn đơn và kép, wildcard, truy vấn mờ, xếp hạng kết quả, sắp xếp trên dữ liệu trả về, độ thân thiện của cú pháp truy vấn.

Searching trải qua 4 bước cơ bản: user interface, build query, run query và render results.

1. User Interface

User interface là những gì người dùng thật sự nhìn thấy trên trình duyệt web, ứng dụng desktop, thiết bị di động khi họ tương tác với chương trình search. Đứng trên phương diện người dùng, đây là phần quan trọng nhất của search engine. Có thể kiến trúc bên dưới của search engine được thiết kế rất tốt, nhưng nếu phần giao diện bị lỗi, người dùng sẽ gặp khó khăn khi sử dụng dịch vụ, kết quả là họ nhanh chóng từ bỏ và bắt đầu chuyển sang một search engine khác thuận tiện hơn.

Một số mẹo để xây dựng user interface hiệu quả là:

· Giữ giao diện ở mức đơn giản, không hiển thị quá nhiều tùy chọn cấp cao ngay trang đầu tiên.

· Bảo đảm rằng người dùng luôn nhìn thấy search box nổi bật mỗi khi họ cần dùng, hơn là yêu cầu họ click và đường link để vào trang search (đây là một lỗi thường gặp).

· Không đánh giá thấp tầm quan trọng của việc trình diễn kết quả. Cụ thể là đừng sa đà vào việc đánh dấu so khớp trong tiêu đề và đoạn trích, hay sử dụng font chữ nhỏ và đưa quá nhiều văn bản trích dẫn.

· Đưa thứ tự sắp xếp và những tính năng thú vị của search engine (khả năng tìm kiếm từ đồng nghĩa, tự động sửa lỗi chính tả, thay đổi thứ tự kết quả theo địa phương) lên phía đầu để người dùng có thể tắt đi khi cần.

· Tự sử dụng thử nghiệm search engine trước khi công bố để biết những thế mạnh và hạn chế của nó. Lưu ý rằng nếu người dùng sử dụng search engine và gặp bất kì lỗi kỹ thuật hay nội dung nào, thì họ sẽ lập tức ra đi và không còn cơ hội để lấy lại lòng tin của họ.

2. Build Query

Khi sử dụng search engine, người dùng sử dụng biểu mẫu HTML hoặc AJAX để gửi lên câu truy vấn dưới dạng các từ khóa. Bước build query có nhiệm vụ chuyển câu truy vấn này thành đối tượng query.

Đối tượng query đôi khi rất đơn giản hoặc rất phức tạp. Nó có thể chứa các phép luận lý, truy vấn theo nhóm từ (đặt trong cặp dấu ngoặc kép), thuật ngữ wildcard. Nếu ứng dụng có giao diện cho phép người dùng điều khiển quá trình tìm kiếm, hoặc có những ràng buộc thú vị thì phải cài đặt những tính năng này thành đối tượng query tương đương. Ví dụ, nếu có ràng buộc giới hạn tập hợp document người dùng được xem, thì nó phải được cài đặt thành bộ lọc trên query.

Nhiều ứng dụng thay đổi search query để thực hiện chức năng boosting hoặc filtering ngay tại bước này thay vì trong quá trình indexing. Thông thường các website thương mại điện tử sẽ tăng thứ hạng của các sản phẩm mang lại lợi ích cao, và lọc bỏ những sản phẩm không còn hàng (để khách hàng không nhìn thấy là sản phẩm đã hết hàng và họ sẽ đi mua ở nơi khác). Tránh sự lạm dụng boosting và filtering vì người dùng sẽ nhận ra và mất tin tưởng vào search engine.

3. Run Query

Đây là bước tra cứu chỉ mục và tìm lại những document khớp với query, sắp xếp chúng theo thứ tự được yêu cầu. Bước này là phần xử lý rất phức tạp được cài đặt bên dưới search engine. Trên lý thuyết, có 3 mô hình tìm kiếm phổ biến sau:

· Mô hình thuần luận lý: document chỉ được xét là khớp hay không khớp với query được cung cấp, không xét đến vấn đề tính điểm. Mô hình này không gán điểm số tương thích cho từng document, do đó kết quả không được sắp xếp theo bất kỳ thứ tự nào. Mỗi câu truy vấn chỉ đơn giản trả về một tập hợp các document.

· Mô hình không gian vector: Cả query và document được mô hình hóa thành các vector ở không gian đa chiều, mỗi từ là một chiều. Độ tương thích, sự giống nhau giữa query và document được tính toán bằng khoảng cách giữa hai vector đó.

· Mô hình xác suất: Tính toán mức độ khớp nhau giữa một document với một query sử dụng giải pháp xác suất.

4. Render Results

Khi đã có danh sách các document khớp với query, được sắp xếp đúng theo như yêu cầu, nhiệm vụ của bước render results là hiển thị chúng một cách trực quan. Giao diện cho việc hiển thị nên đưa ra đường dẫn một cách rõ ràng cho công việc tìm kiếm và các hành động, ví dụ như click để đi đến trang kế tiếp, tinh chỉnh việc tìm kiếm theo cách nào đó, tìm kiếm các document tương tự với một kết quả, tránh cho người dùng rơi vào trạng thái không còn gì để tìm kiếm.

Index được xem như cấu trúc dữ liệu cho phép truy cập ngẫu nhiên đến từ hay cụm từ mà nó chứa. Khái niệm này cũng tương tự như chỉ mục ở phần cuối mỗi quyển sách, cho phép định vị các trang thảo luận về một chủ đề cụ thể.

Đi sâu hơn, indexing bao gồm hai bước tuần tự: analyze document và index document. Hai bước này được trình bày rõ hơn sau đây.

1. Analyze Document

Không search engine nào đánh chỉ mục văn bản trực tiếp, thay vào đó, văn bản phải được chia nhỏ thành các thành phần nguyên tử gọi là token. Đó là những gì diễn ra trong bước analyze document. Mỗi token gần giống như một từ trong ngôn ngữ tự nhiên, bước này quyết định làm thế nào chia các field văn bản trong document thành các chuỗi token. Một vài vấn đề thú vị có thể xảy ra như:

· Cách xử lý từ ghép thế nào?

· Có nên tự động sửa lỗi nếu nội dung bị sai chính tả hay không?

· Có nên chèn từ đồng nghĩa vào trong chuỗi token để với từ khóa laptop cũng sẽ trả về các sản phẩm tương đương như netbook hay không?

· Có xem các dạng số ít – số nhiều (cat – cats), hay các thì hiện tại – quá khứ (eat – ate) là một hay không?

· Trong những ngôn ngữ không thuộc dòng Latin, định nghĩa một từ là như thế nào?

2. Index Document

Đây là bước cuối cùng trong quá trình indexing. Khi chuyển về chuỗi token, document được thêm vào trong index và sẵn sàng để được tìm kiếm. Quá trình indexing chỉ thật sự có ý nghĩa đối với người quản trị hệ thống, là cơ sở để có được những kết quả tốt. Đối với người dùng cuối, họ chỉ quan tâm đến những trải nghiệm và không cần biết bên dưới hệ thống hoạt động như thế nào.

Khi đã có bản thiết kế cấu trúc document hợp lý, từ nội dung thu thập được, phần thông tin thuần văn bản được trích ra và gán vào giá trị các field. Không có vấn đề gì khó khăn nếu nội dung đã là một văn bản theo một bảng mã đã được biết trước. Nhưng ngày nay khá nhiều nội dung lại ở dạng nhị phân (PDF, Microsoft Office, Open Office, Adobe Flash, streaming video và audio multimedia) hoặc chứa những thẻ đánh dấu cần phải loại bỏ trước khi tiến hành quá trình indexing (RDF, XML, HTML). Các nội dung này cần phải thông qua một chương trình lọc để lấy được phần văn bản mong muốn trước khi tạo document mới. Tika, một dự án của Apache, hỗ trợ lọc document khá tốt. Nếu nội dung nằm trong database, các dự án như DBSight, Hibernate Search, LuSQL, Compass và Oracle/Lucene đưa ra giải pháp indexing và searching đơn giản, giải quyết đồng thời 2 bước Acquire Content và Build Document.

Tại bước này, thông thường logic nghiệp vụ được áp dụng để sinh ra các field. Điển hình, người ta phân tích ngữ nghĩa của field “body text” để tìm ra các thông tin phụ như tên, địa điểm, ngày, giờ, hoặc kết nối với thông tin từ những nguồn lưu trữ bên ngoài (database) để trộn chúng lại thành một document duy nhất.

Một vấn đề quan trọng được thực hiện tại bước này là đánh giá mức độ ưu tiên của từng document và field. Ví dụ như những document vừa mới được chỉnh sửa thì được ưu tiên hiện ra trước so với những document cũ, hay là đối với email thì ưu tiên tìm kiếm trên field title trước so với field body. Công việc này gọi là boosting tĩnh, vì mức độ ưu tiên được gán như một hằng số ngay khi xây dựng document, khác với boosting động có mức độ ưu tiên được hiệu chỉnh trong quá trình searching. Hầu như tất cả search engine tự động boost các field có độ dài ngắn và ưu tiên chúng hơn những field có độ dài lớn, để khi tìm kiếm một cụm từ khóa thì các kết quả cô đọng nhất sẽ hiện ra trước.

Một vấn đề cần được quan tâm trong bước này là quyền truy cập nội dung. Ví dụ khi crawl một website phải tuyệt đối tuân thủ quyền riêng tư được định nghĩa trong file robots.txt, hoặc đôi khi muốn scan nội dung của các file thì phải có được quyền của “super user”. Những thông tin về hạn chế truy cập phải được đính kèm với nội dung để khi tìm kiếm thì chỉ hiển thị kết quả đối với những nội dung mà người dùng được phép thấy, và ẩn đi những kết quả mà người dùng không thể truy cập được.

Đối với nguồn dữ liệu lớn và thường xuyên thay đổi, tối ưu hóa crawler là bắt buộc để tăng mức độ hiệu quả của search engine. Crawler phải hoạt động thường trực, theo dõi các dữ liệu thô mới được tạo ra hoặc mới bị thay đổi, đưa chúng vào hàng đợi để phân tích dần dần khi hệ thống rảnh rỗi.

Có nhiều crawler mã nguồn mở (Apache Solr, Nutch, Grub, Heritrix, Apache Droids, Aperture) hỗ trợ tách nội dung từ dữ liệu thô phân tán. Chúng được thiết kế để hỗ trợ kết nối với những nguồn dữ liệu thông dụng (như website, database, CMS, hệ thống file). Đối với những nguồn dữ liệu khác mà chưa có thư viện hỗ trợ, lập trình viên phải tự viết chương trình kết nối và tách nội dung theo giao diện của nguồn dữ liệu đó.

Các quá trình hoạt động của một search engine

Search engine là một hệ thống truy vấn thông tin trên máy tính. Các thông tin này có thể tồn tại ở nhiều dạng, như hình ảnh, âm thanh, nhưng đa số là văn bản (email, tài liệu, ebook, trang web).

Text search engine sử dụng kỹ thuật full text search, cho phép người dùng nhập vào một vài từ khóa và tìm những văn bản nào có chứa những từ khóa này. Về cơ bản, những engine như vậy đều hoạt động dựa trên 3 quá trình:

- Crawling (Raw Content à Acquire Content à Build Document): Thu thập văn bản từ các dữ liệu dạng thô.

- Indexing (Analyze Document à Index Document): Tìm các từ khóa đặc trưng cho văn bản.

- Searching (User Interface à Build Query à Run Query à Render Results): So khớp từ khóa do người dùng nhập vào với từ khóa đặc trưng để chọn lọc văn bản phù hợp.

Search engine có mặt ở khắp mọi nơi và có qui mô rất khác biệt nhau. Những general-purpose engine (tìm kiếm tất cả nội dung số) như Google hay Bing có cả trăm ngàn máy chủ hoạt động trên môi trường phân tán, mỗi cụm máy chủ chỉ đảm nhiệm duy nhất một phần công việc cho một quá trình. Ngược lại, những vertical-purpose engine (tìm kiếm đối tượng dữ liệu trên một lĩnh vực cụ thể) thì nhỏ bé hơn, có thể chạy được trên một máy tính cá nhân hoặc có thể được tích hợp vào một phần mềm, ví dụ như tìm kiếm danh bạ trong Outlook, tìm kiếm file trong Windows.