mirror of
https://github.com/PrivateBin/PrivateBin.git
synced 2026-04-18 21:48:24 -04:00
Add exhaustive list of bot identifiers to badBotUA array
- Minimizes false positives by using specific patterns like 'bot/', '-bot' - Catches most bot variants without being overly broad - Maintains case-sensitivity for precision - Includes both common patterns and specific known bots
This commit is contained in:
committed by
GitHub
parent
7806faf16c
commit
15643689fd
+65
-2
@@ -59,8 +59,71 @@
|
||||
* @readonly
|
||||
*/
|
||||
var badBotUA = [
|
||||
'Bot',
|
||||
'bot'
|
||||
// Generic bot identifiers
|
||||
'bot/',
|
||||
'Bot/',
|
||||
'-bot',
|
||||
'-Bot',
|
||||
'crawler',
|
||||
'Crawler',
|
||||
'spider',
|
||||
'Spider',
|
||||
'scraper',
|
||||
'Scraper',
|
||||
|
||||
// Search Engines
|
||||
'Googlebot',
|
||||
'Mediapartners-Google',
|
||||
'AdsBot-Google',
|
||||
'bingbot',
|
||||
'msnbot',
|
||||
'BingPreview',
|
||||
'Yahoo! Slurp',
|
||||
'Baiduspider',
|
||||
'YandexBot',
|
||||
'DuckDuckBot',
|
||||
|
||||
// SEO & Analytics
|
||||
'AhrefsBot',
|
||||
'SemrushBot',
|
||||
'MJ12bot',
|
||||
'rogerbot',
|
||||
'Screaming Frog',
|
||||
|
||||
// Social Media
|
||||
'facebookexternalhit',
|
||||
'Facebot',
|
||||
'Twitterbot',
|
||||
'LinkedInBot',
|
||||
'Pinterestbot',
|
||||
'Slackbot',
|
||||
|
||||
// AI & LLM
|
||||
'GPTBot',
|
||||
'ChatGPT-User',
|
||||
'OAI-SearchBot',
|
||||
'ClaudeBot',
|
||||
'anthropic-ai',
|
||||
'PerplexityBot',
|
||||
|
||||
// Monitoring & Uptime
|
||||
'Pingdom',
|
||||
'UptimeRobot',
|
||||
'BetterStackBot',
|
||||
'cron-job.org',
|
||||
|
||||
// Security Scanners
|
||||
'CensysInspect',
|
||||
'Shodan',
|
||||
'BitSightBot',
|
||||
|
||||
// Other Common Crawlers
|
||||
'80legs',
|
||||
'ia_archiver',
|
||||
'Teoma',
|
||||
'Linguee Bot',
|
||||
'AddThis.com robot',
|
||||
'Speedy Spider'
|
||||
];
|
||||
|
||||
/**
|
||||
|
||||
Reference in New Issue
Block a user