Hard negative mining: modele "neredeyse doğru"yu öğretmek

Bir model, açıkça yanlış olan örneklerden şaşırtıcı derecede az şey öğrenir. dev.to'da yayımlanan teknik bir yazıda mühendis Shrijith Venkatramana, hard negative mining yöntemini basit bir arama örneğiyle anlatıyor. "How do I rotate an AWS IAM access key?" sorgusunun yanına Kubernetes pod boyutlandırma metni koyarsanız model ikisini zahmetsizce ayırır. Yanına "How do I create an AWS IAM access key?" koyduğunuzda ise aynı sözcükler ve aynı nesne bambaşka bir cevap taşır.

Kolay negatifler ucuzdur ve çoğu zaman işe yaramaz

Karşıtsal eğitimde model, ilgili belgenin (d+) ilgisiz belgeden (d-) daha yüksek benzerlik almasıyla ödüllendirilir. Kolay çift, 0,82'ye karşı 0,12, neredeyse hiç sinyal taşımaz; çünkü model ikisinin farklı olduğunu zaten bilir. Zor çift, 0,82'ye karşı 0,76, onu ayırt edici özelliği bulmaya zorlar. Arama sistemleri nadiren tamamen ilgisiz bir sonuç vererek başarısız olur; tipik hata yanlış kütüphane sürümü ya da yapılandırma kılavuzu yerine kurulum kılavuzudur. Aynı mantık, sistemin sıralaması veya ayırt etmesi gereken her yerde geçerlidir: dört PostgreSQL metni gören bir reranker, birinin sorguyu neden yanıtladığını, diğerinin yalnızca ilgili olduğunu anlamak zorundadır.

Dil modellerinden eski bir fikir

Yöntem bilgisayarlı görüde şekillendi. FaceNet 2015'te Florian Schroff, Dmitry Kalenichenko ve James Philbin tarafından yayımlandı; yüzleri bir embedding uzayına yerleştiriyor ve ağ geliştikçe üçlülerin zorluğunu artıran online triplet mining kullanıyordu. Karpukhin ve arkadaşlarının Dense Passage Retrieval çalışması aynı mantığı metin aramaya taşıdı; Microsoft araştırmacılarının Lee Xiong ve Chenyan Xiong'un da aralarında bulunduğu ANCE çalışması ise daha ileri gitti: approximate-nearest-neighbour indeksi zor negatifleri modelin kendisiyle bulur. RocketQA, dense passage retrieval için denoised hard negatives ekledi.

Pratikte madencilik

Temel yordam her sorgu için en iyi k adayı getirir, bilinen pozitifi çıkarır ve kalanı saklar. Tuzak şudur: zor olmak yanlış olmak demek değildir, çok benzer bir belge aslında ilgili olabilir ve onu itmek arama uzayına zarar verir. Bu yüzden üretim ardışık düzenleri adayları bir cross-encoder veya LLM hakeminden geçirerek olası false negative'leri temizler. Maliyet ikinci kısıttır: her biri 20 hard negative taşıyan bir milyon eğitim sorgusu yaklaşık 20 milyon aday ilişkisi demektir. Yazar ucuz ilk aşama aramayı, dönemsel madenciliği ve yararlı bandı ortada, yaklaşık 0,4 ile 0,8 arasında olan öğretmen skorlarını öneriyor.

Neden işe yarar

Karşıtsal bir hedefte model, olasılık kütlesinin çoğunu pozitif aldığında ödüllendirilir. Bir negatif 0,90'lık pozitife karşı 0,87 aldığında kayıp, en iyi negatifin 0,20'de durduğu duruma göre çok daha büyük bir gradyan üretir. Kolay negatifler uzayın geniş bölgelerini, zor negatifler karar sınırını öğretir. Her turdan sonra yeniden madencilik döngüyü kapatır: daha iyi model daha iyi hatalar üretir, o hatalar daha iyi eğitim verisine dönüşür.