Algoritma buruk Reflect Model buruk dan Data

Dengan semua hype sekitar analisis data yang besar, tidak cukup perhatian yang diberikan kepada kualitas data atau validasi dari model yang dibangun pada data. Meskipun bersifat deterministik mereka, algoritma yang hanya sebagai baik sebagai data pemodel mereka bekerja dengan contoh surat lamaran kerja.
Cukup didefinisikan, algoritma mengikuti serangkaian instruksi untuk memecahkan masalah berdasarkan variabel input dalam model yang mendasari. Dari perdagangan frekuensi tinggi, nilai kredit dan asuransi untuk web pencarian, merekrut dan kencan online, algoritma cacat dan model dapat menyebabkan perpindahan besar di pasar dan kehidupan. Fokus yang berlebihan pada volume, kecepatan dan berbagai data dan teknologi untuk menyimpan, mengolah dan menganalisis itu diberikan tidak efektif jika algoritma menghasilkan hasil keputusan yang buruk atau pelanggaran.
Salah satu contoh adalah kecelakaan flash yang terjadi pada tanggal 6 Mei 2010. Dalam beberapa menit, The Dow Jones Industrial rata anjlok 1.000 poin hanya untuk memulihkan kurang dari 20 menit kemudian. Sementara penyebabnya tidak pernah dijelaskan sepenuhnya, banyak pelaku pasar setuju bahwa algoritma kuantitatif yang harus disalahkan. Dengan algoritma bertanggung jawab hingga 75% dari volume perdagangan, potensi kejadian bencana di masa depan adalah lebih dari mungkin. Meskipun efisiensi, tidak adanya campur tangan manusia menghasilkan kaskade kejadian yang memicu perdagangan lebih ke tangki pasar lebih lanjut. Yang telah kita pelajari apa-apa dari asuransi portofolio tahun 1980-an yang pada akhirnya menyebabkan 1.987 kecelakaan?
Pada tingkat yang lebih individual, algoritma berdasarkan data pribadi, seperti kode pos, sejarah pembayaran dan catatan kesehatan memiliki potensi untuk menjadi diskriminatif dalam menentukan tarif asuransi dan nilai kredit. Sertakan data sosial ke dalam campuran dan asumsi yang dihasilkan dalam model dapat condong hasil lebih jauh.
Contoh lain adalah wahyu tentang pengumpulan dan analisis informasi pribadi NSA. Pemerintah telah memberlakukan undang-undang untuk memungkinkan data mining untuk korelasi langsung atau non-jelas atas nama keamanan nasional. algoritma serupa yang digunakan untuk profiling oleh departemen kepolisian kota. Sebuah kesalahan pemodelan mungkin memiliki efek buruk pada setiap hari warga. Dan pelanggaran potensi privasi pribadi meninggalkan lubang menganga di pemerintahan.
Pemodelan di bidang dengan lingkungan terkendali dan input data yang dapat diandalkan, seperti penemuan obat atau memprediksi pola lalu lintas menyediakan ilmuwan kemewahan waktu untuk memvalidasi model mereka. Namun, di web mencari horizon waktu mungkin dua detik dan di lantai perdagangan, milidetik.