دوکارنه دوکارناوالت و منان بیان میکنند که میزان قدرت پسوردسنجها بنا به آسیبپذیری آنها است و این میتواند برای کاربرانی که شاهد نتایج متغیر پسوردسنجهای گوناگون هستند مشکل بوجودآورد. پژوهشگران همچنین اظهار داشتند که: «به جزء دراپ باکس و keepass (تا حدودی) در آزمایش ما، هیچ پسوردسنج دیگری نتوانست توضیح مناسبی دربارهی طراحی برنامه و یا منطق پشت تکنیکهای ارزیابی قدرت پسوردها ارائه دهد.» به استثنای دراپ باکس و keepass به نظر می رسد بقیهی پسوردسنجها به صورت ad-hoc طراحی شدهاند و اغلب پسوردهای ضعیف را قوی تشخیص میدادند. چنانچه پژوهشگران بیان داشتند: «پسوردسنج نسبتا سادهی دراپ باکس در تحلیل پسوردها بسیار مؤثر است و احتمالا گامی به سوی مسیر درست برداشته است (keepass نیز از چنین الگوریتمی استفاده میکند.)» دوکارنه دوکارناوالت و منان توصیه میکنند که سرویسدهندگان محبوب وب همگی از الگوریتم یکسانی برای سنجش پسوردها استفاده کنند. ایشان به خصوص استفاده از الگوریتم zxcvbn و یا توسعه دادن آن که توسط دراپ باکس استفاده می شود یا نسخه متنباز keepass که از این الگوریتم استفاده می کند را توصیه می کنند.
برنامههای سنجش پسورد موجود، اغلب گمراهکنندهاند. اگر شما جزو افرادی هستید که برای تعیین پسورد به برنامههای پسوردسنج اعتماد میکنند، باید منتظر خبرهای بدی باشید. طبق تحقیقات جدید دانشگاه کنکوردیا، معیارهای قدرت این برنامهها بسیار متناقضاند و اغلب شما را گمراه میکنند. خاویر دوکارنه دوکارناوالت و محمد منان، پسوردسنجهایی که توسط سایتهای پرطرفدار و برنامههای مدیریت پسورد استفاده میشوند را مورد ارزیابی قراردادند. سایتهای بررسیشده شامل وبسایتهای اپل، دراپ باکس، دروپال، گوگل، ای بی، مایکروسافت، پی پال، اسکایپ، توییتر، یاهو و سرویس ایمیل روسی به نام یاندکس میل است. همچنین این دو پژوهشگر به بررسی برنامههای مدیریت پسورد همچون LastPass، 1Password، و keePass پرداختند و FedEx و سایت مرکزی خدمات مشتری راهآهن چین را نیز برای گوناگونی نمونهها اضافه کردند. سپس دوکارنه دوکارناوالت و منان لیستی شامل 9.5 میلیون پسورد از مآخذ عمومی مانند پسوردهای هک شدهی افراد واقعی تهیه کرده و آنها را روی سرویسهای پسوردسنج آزمایش کردند تا قدرت این برنامهها را بسنجند.
قوانین غیر مؤثر
اغلب پسوردسنجها به دنبال طول و تنوع کاراکتری (مانند حروف کوچک و بزرگ، اعداد و نمادها) بودند. برخی نیز به شناسایی لغات مشترک و الگوهای ضعیف اهمیت میدادند.با اینحال، پسوردسنجهایی که به ترکیب پسورد اهمیت میدادند، اغلب از الگوهایی که به سادگی قابل هک شدن هستند چشمپوشی میکردند و تبدیلات رایج حروف (leet transformation) مانند جایگزین کردن حرف l با شمارهی 1 را وارد محاسبه نمیکردند. در حالی که هکرها از چنین تبدیلاتی برای هک کردن پسوردها استفاده میکنند.
نتایج متناقض
در کمال تعجب پسوردهایی که تقریبا مانند هم هستند نتایج بسیار متفاوتی داشتند. مثلاً Paypal01 توسط استانداردهای اسکایپ ضعیف ولی با استانداردهای پی پال قوی شناخته شد. دراپ باکس Password1 را بسیار ضعیف ولی یاهو آن را بسیار قوی تشخیص داد و حتی توسط 3 پسوردسنج مایکروسافت 3 امتیاز مختلف (قوی، ضعیف، متوسط) گرفت. پسورد #football1 توسط دراپ باکس بسیار ضعیف شناخته شد ولی توییتر آن را عالی ارزیابی کرد. در برخی موارد، اختلافات جزئی ارزیابی را به دلیل تأکید بیش از حد روی حداقل ضروریات تحت تأثیر قرار داد. پسوردسنج FedEx، عبارتpassword$1 را واقعا ضعیف اما Password$1 را خیلی قوی تشخیص داد. یاهو عبارت qwerty را در طبقهی خیلی ضعیف دستهبندی کرد ولی qwerty1 را در طبقهی قوی گذاشت. مشکلات مشابهی در گوگل به وجود آمد که مثلاً passwordo را ضعیف ولی passwordo+ را قوی دانست. پسوردسنج FedEx عبارت +ˆv16#5{]( را احتمالا به دلیل اینکه شامل هیچ حرف بزرگی نیست) بسیار ضعیف ارزیابی کرد. محققان توضیح دادند که «برخی پسورد سنجها بسیار ضعیف و گنگ هستند (مثل یاهو و یاندکس) به طوری که گاها به ماهیت آن ها می توان شک کرد.»
