LSTMs แก้ปัญหาโดยใช้โครงสร้างการไล่ระดับสีแบบเพิ่มพิเศษที่มี เข้าถึงการเปิดใช้งานของ forget gate ได้โดยตรง ทำให้เครือข่ายสามารถกระตุ้นพฤติกรรมที่ต้องการจากการไล่ระดับข้อผิดพลาดโดยใช้การอัพเดทเกตบ่อยๆ ในทุกขั้นตอนของการเรียนรู้
LSTM แก้ปัญหาระเบิดไล่ระดับอย่างไร
คำตอบสั้น ๆ: LSTM แยกสถานะเซลล์ (โดยทั่วไปจะแสดงด้วย c) และเลเยอร์/เอาต์พุตที่ซ่อนอยู่ (โดยทั่วไปจะแสดงด้วย h) และทำการอัปเดตเพิ่มเติมสำหรับ c เท่านั้น ซึ่งทำให้หน่วยความจำใน c มีเสถียรภาพมากขึ้น ดังนั้น การไล่ระดับสีที่ไหลผ่าน c จะถูกรักษาไว้และหายไปยาก (ดังนั้น การไล่ระดับสีโดยรวมจึงหายไปได้ยาก)
ปัญหาการไล่ระดับสีที่หายไปสามารถแก้ไขได้อย่างไร
วิธีแก้ปัญหา: วิธีแก้ปัญหาที่ง่ายที่สุดคือ ใช้ฟังก์ชันการเปิดใช้งานอื่นๆ เช่น ReLU ซึ่งไม่ทำให้เกิดอนุพันธ์เล็กน้อย เครือข่ายที่เหลือเป็นอีกวิธีหนึ่ง เนื่องจากมีการเชื่อมต่อที่เหลือตรงไปยังเลเยอร์ก่อนหน้า
LSTM แก้ปัญหาอะไรได้บ้าง
LSTMs. LSTM (ย่อมาจาก long short-term memory) เป็นหลักในการแก้ปัญหา ปัญหาการไล่ระดับสีที่หายไปในการขยายพันธุ์ด้านหลัง LSTM ใช้กลไกเกตที่ควบคุมกระบวนการบันทึก ข้อมูลใน LSTM สามารถจัดเก็บ เขียน หรืออ่านผ่านประตูที่เปิดและปิดได้
ทำไม LSTM หยุดการไล่ระดับของคุณไม่ให้หายไปจากมุมมองด้านหลัง
เหตุผลก็เพราะในการบังคับใช้ กระแสข้อผิดพลาดคงที่ การคำนวณการไล่ระดับสีถูกตัดออกเพื่อไม่ให้ไหลกลับไปที่อินพุตหรือเกทตัวเลือก
