क्या सिमैंटिक कोड सर्च वास्तव में grep से बेहतर है? requests पर एक माप
कोडबेस के embeddings का पारंपरिक डेमो अक्सर वह सवाल चुनता है जहाँ वेक्टर सर्च आसानी से जीत जाए, लेकिन लेखक ने psf/requests रिपॉज़िटरी पर दस सवालों के साथ परीक्षण किया जहाँ grep कुछ नहीं लौटाता। परीक्षण में 200 से कम पंक्तियों वाली Python पाइपलाइन का उपयोग हुआ, जिसे 8 GB के M1 Mac पर केवल CPU से चलाया गया। नतीजों में अकेले embeddings ने दस में से चार सवालों का सही हिस्सा शीर्ष पाँच में पाया, जबकि सादी कीवर्ड रैंकिंग ने छह को खोजा। दोनों को मिलाने पर शीर्ष दस में सात सही परिणाम मिले, और टेस्ट व डॉक्स को छोड़ने पर नौ। लेखक ने फ़ाइलों को लगभग 700 टोकन के टुकड़ों में बाँटने की प्रक्रिया और कोड के टोकनीकरण से जुड़ी चुनौतियाँ भी समझाई हैं।










