上，这些印象只有很少一部分是事实，大多数反而都与史上锦衣卫的实际情况相去甚远。
锦衣卫中真正负责“特务”工作的人，在整个锦衣卫机构当中，大概只占百分之五，以“缇骑”为主，由北镇抚司掌握。
这些缇骑人数其实并不算多，譬如宪宗成化年间，锦衣卫掌卫官所统缇骑就只有一百人，专门负责监察京师的不轨、亡命、盗奸、机密大事；巡捕官所统缇骑也只有二百人，专职捕贼。这些缇骑的来源主要是“大侠或贾人子”。
另外就是，东厂也在锦衣卫中选取了八十人，多是“捷悍利牙爪者”，专门“钩察出人帷簿间”，太监汪直专宠时又曾开设西厂，缇骑人数比东厂要多一倍，职权更在东厂之上，能够“纠察中外文武大小及民间事”。
这些缇骑（有侦缉职权的锦衣卫校尉），才算得上“特务”，人数一般不超过六百人，占锦衣卫总人数的比例不到百分之五（注：一个所满编是1120人，锦衣卫有17个所）。而且缇骑是从民间挑选，和一般卫所人员是父子世代承袭的规定不同。
简而言之，大多数父死子继的锦衣卫，其实不算什么特务，只是单纯的“天子亲军”，也没有什么缉拿不法的职权。锦衣卫真正令官员们警惕、畏惧而又反感的权力，其实掌握在北镇抚司手中。
而且，即便北镇抚司拥有这些“特务”权限，他们的工作也并非侦缉寻常百姓，而是监督侦缉官员。虽然欺压百姓的事情有时也在所难免，但毕竟不是主要的，后世之所以把北镇抚司渲染得犹如十八层地狱，说到底问题还是出在它的执掌——对付官员。
笔杆子掌握在文官手里，锦衣卫北镇抚司作为对付文官的暴力特务机构，还能指望有多少好名声不成？哪怕锦衣卫抓的官员里面，一百个被抓的有九十九个都是罪有应得，但只要抓错了一个，或者抓了一个名声不错的，那就是洗都洗不掉的污点，只能被文官集团反复渲染放大，最后一叶障目，成为锦衣卫的罪证。
这三人既然是锦衣卫，自家人当然知道自家事，所以对方开口就是一句“去北镇抚司”，他们立刻就不敢随便接口了——那代表人家肯定是官员，或者官员家眷。
京城这种地方，作为世袭锦衣卫，欺负一下小老百姓或许问题不大，但这里是全天下官员最多的地方，随便拿块砖头砸进人群里，说不定就能砸死一两个八九品的官员。虽然人家只是八九品，可京里的八九品官员也不是开玩笑的，那可都是文官，指不定还是翰林出身，岂是他们这群大头
…。。