ตามที่นักวิทยาศาสตร์ข้อมูลอาวุโส ข้อดีอย่างหนึ่งที่ชัดเจนของการใช้ Stochastic Gradient Descent คือ มันคำนวณได้เร็วกว่าการไล่ระดับสีแบบไล่ระดับและการไล่ระดับแบบกลุ่ม … นอกจากนี้ บน ชุดข้อมูลขนาดใหญ่ การไล่ระดับสีแบบสุ่มสามารถบรรจบกันได้เร็วขึ้นเพราะทำการอัปเดตบ่อยขึ้น
Stochastic Gradient Descent ใช้สำหรับอะไร
Stochastic gradient Descent เป็นอัลกอริธึมการปรับให้เหมาะสมที่มักใช้ ในแอปพลิเคชันการเรียนรู้ของเครื่อง เพื่อค้นหาพารามิเตอร์แบบจำลองที่สอดคล้องกับความเหมาะสมที่สุดระหว่างผลลัพธ์ที่คาดการณ์ไว้และผลลัพธ์จริง เป็นเทคนิคที่ไม่แน่นอนแต่ทรงพลัง. Stochastic gradient Descent ใช้กันอย่างแพร่หลายในแอปพลิเคชันการเรียนรู้ของเครื่อง
เหตุใดเราจึงต้องใช้ Stochastic Gradient Descent แทนการไล่ระดับสีแบบมาตรฐานเพื่อฝึกโครงข่ายประสาทเทียม
การไล่ระดับสีสุ่ม อัปเดตพารามิเตอร์สำหรับการสังเกตแต่ละครั้งซึ่งนำไปสู่การอัปเดตจำนวนมากขึ้น ดังนั้นจึงเป็นวิธีที่เร็วกว่าซึ่งช่วยในการตัดสินใจที่รวดเร็วยิ่งขึ้น แอนิเมชั่นนี้อัปเดตได้เร็วขึ้นในทิศทางต่างๆ
ทำไมเราชอบการไล่ระดับแบบไล่ระดับมากกว่า
สาเหตุหลักที่การไล่ระดับสีที่ใช้สำหรับการถดถอยเชิงเส้นคือ ความซับซ้อนในการคำนวณ: การคำนวณนั้นถูกกว่า (เร็วกว่า) ในการหาวิธีแก้ปัญหาโดยใช้การไล่ระดับสีแบบลงล่างในบางกรณี ที่นี่ คุณต้องคำนวณเมทริกซ์ X'X แล้วกลับด้าน (ดูหมายเหตุด้านล่าง) เป็นการคำนวณที่มีราคาแพง
ทำไมจึงใช้ SGD
Stochastic gradient descent (มักย่อมาจาก SGD) คือ วิธีการวนซ้ำเพื่อเพิ่มประสิทธิภาพฟังก์ชันวัตถุประสงค์ด้วยคุณสมบัติความเรียบที่เหมาะสม (เช่น อนุพันธ์หรืออนุพันธ์ย่อย)