Web Scrapping

Web Scraping (juga disebut Web panen atau Web ekstraksi data) adalah sebuah perangkat lunak komputer teknik penggalian informasi dari situs . Usually, such software programs simulate human exploration of the World Wide Web by either implementing low-level Hypertext Transfer Protocol (HTTP), or embedding certain full-fledged Web browsers, such as Internet Explorer or Mozilla Firefox . Biasanya, program perangkat lunak tersebut mensimulasikan eksplorasi manusia dari World Wide Web oleh salah menerapkan tingkat rendah Hypertext Transfer Protocol (HTTP), atau embedding Web browser tertentu penuh, seperti Internet Explorer atau Mozilla Firefox . Web scraping is closely related to Web indexing , which indexes information on the Web using a bot and is a universal technique adopted by most search engines. Scraping Web adalah terkait erat dengan pengindeksan Web , yang indeks informasi di Web menggunakan bot dan merupakan teknik universal yang diadopsi oleh kebanyakan mesin pencari. In contrast, Web scraping focuses more on the transformation of unstructured data on the Web, typically in HTML format, into structured data that can be stored and analyzed in a central local database or spreadsheet. Sebaliknya, Web Scraping lebih memfokuskan pada transformasi data yang tidak terstruktur di Web, biasanya dalam HTML format, ke dalam data terstruktur yang dapat disimpan dan dianalisis dalam database lokal pusat atau spreadsheet. Web scraping is also related to Web automation, which simulates human Web browsing using computer software. Web Scraping juga terkait dengan otomasi Web, yang mensimulasikan browsing web manusia menggunakan perangkat lunak komputer. Uses of Web scraping include online price comparison, weather data monitoring, website change detection, Web research, Web mashup and Web data integration. Penggunaan Scraping Web termasuk perbandingan harga online, cuaca data pemantauan, deteksi situs berubah, penelitian Web, Web Mashup dan Web integrasi data.

Ketika Volume Data Perusahaan Membengkak

olume data yang terus meningkat, otomatis teknologi storage juga harus mampu mengimbanginya untuk dapat menampung pertumbuhan tersebut.

Cara yang paling sering dipakai adalah memperbanyak kapasitas storage dengan menambahkan disk. Padahal cara yang dapat dipakai perusahaan untuk membuat storagenya tetap dapat mengikuti perkembangan bisnis bukan hanya itu. Berikut tips dari NetApp saat perusahaan Anda sedang menghadapi masalah tersebut.

Menurut survei yang dilakukan Enterprise Strategy Group, para profesional TI menyebutkan bahwa skalabilitas untuk mendukung pertumbuhan mesin virtual yang cepat adalah salah satu dari tiga tuntutan teratas atas lingkungan penyimpanan data.

Dengan semakin maraknya virtualisasi dan meningkatnya volume data, kemampuan untuk mengembangkan (ability to scale) storage menjadi faktor penentu kesuksesan untuk perusahaan. Lingkungan storage dituntut untuk dapat fleksibel dan responsif terhadap perubahan kebutuhan bisnis, sekaligus tetap menjaga efisiensi dan kecepatan yang tinggi.

"Untuk memenuhi pertumbuhan volume data, salah satu pertanyaan penting yang harus dijawab oleh para CIO adalah, apakah mereka harus melakukan scale up atau scale out storage yang ada. Untuk membuat suatu keputusan yang tepat, CIO pertama-tama harus memahami perbedaan antara scale up dan scale out," kata NetApp, dalam keterangannya, Minggu (28/8/2011).

Scale up adalah memanfaatkan storage yang sudah ada dengan menambah disk untuk memenuhi kebutuhan yang meningkat. Meski demikian, terdapat batasan untuk melakukan scale up kapasitas yang tergantung pada berapa banyak maksimal perangkat storage yang dapat disambungkan ke satu storage controller.

Saat storage controller sudah penuh, maka yang dapat dilakukan oleh perusahaan adalah mengganti storage controller dengan kapasitas lebih besar sehingga disk yang sudah ada masih dapat dipakai tanpa perlu menggantinya.

Biaya implementasi yang relatif lebih rendah untuk melakukan scale up storage menjadikannya sebagai metode yang menarik untuk menambah kapasitas.

Scale out, di sisi lain, mengatasi masalah kapasitas dengan memberikan sistem storage tambahan (node). Melakukan scale out storage dapat dikerjakan dengan mengelompokkan sistem storage dan grid storage.

"Yang lebih penting, suatu solusi scale out dapat memiliki banyak node yang saling terhubung meskipun terpisah lokasi geografis namun tetap sebagai satu sistem," lanjut perusahaan yang sudah malang melintang di bisnis storage ini.

Scale out juga memiliki kemampuan potensial untuk mengagregasi IOPS dan bandwidth dari sejumlah storage controller untuk fleksibilitas tambahan. Node tambahan ini juga menyediakan ketersediaan yang lebih besar jika salah satu node mengalami down.

Lantas mana yang harus dipilih? "Sekarang ini, CIO tidak harus memilih salah satu dari scale up atau scale out. Arsitektur yang terintegrasi memberikan kemampuan untuk melakukan keduanya, scale up dan scale out, secara efisien dan efektif," jelas NetApp.

Arsitektur unified storage saat ini memberikan fleksibilitas bagi para pelanggan untuk memilih solusi yang paling cocok dengan kebutuhan mereka saat ini dan di masa depan.

"Sebagai langkah awal, CIO harus memulai dengan menerapkan cara dan pengelolaan storage yang lebih efisien untuk mengoptimalkan utilisasi aset yang ada," pungkasnya.



Sumber :
http://www.detikinet.com/read/2011/08/28/115258/1712764/510/ketika-volume-data-perusahaan-membengkak/