Відомо, що перші згадки про кастети, як зброю гладіаторів, відносяться до II століття н.е. Римські історики описували "Бронзовий кулак" як бронзову пластину з прорізом для пальців, що затискається в кулаці бійцем. Протягом багатьох століть кастети були забуті й віддані забуттю, доки 1923 року під час розкопок цирку в Ліоні не було виявлено артефакти, ідентичні описам "Бронзового кулака".
Під час розкопок цирку в Ліоні 1923 року було знайдено два бронзових кастети, які повністю відповідають описам античних джерел. Ця знахідка пролила світло на існування кастетів у давнину. Виявилося, що їх забули протягом понад 1500 років і замістили іншими типами зброї, як-от латні рукавички та бойові рукавиці.
У 15-16 століттях венеціанські моряки згадали про кастети під час абордажних боїв на кораблях. У тісних корабельних каютах ефеси виявлялися незручними, тому моряки зміцнили гарди своїх кастетів шипами. Це поєднання клинка й ударної частини стало популярним і згодом знайшло застосування в різних культурах. Також набули популярності в Індії, Японії та Китаї, де сформувалися різні різновиди, як-от китайські "бойові кільця" та "бойові гребені".
Мешканці Тихоокеанських островів створювали кастети з дерева, посилені осколками обсидіану або зубами акули. Ці пристосування були особливо унікальними у своїй конструкції та використанні матеріалів. Вони слугували важливим засобом захисту та зброєю для оборони.
Ймовірно, саме моряки привнесли ідею кастета назад до Європи. Перша європейська згадка, як самостійної зброї, датується 1819 роком. Капітан американського судна USS "Gallant" Джек Пітерсон, у своєму листі губернатору Північної Кароліни, описав бійку в Марсельському порту, де французькі матроси використовували ефективні латунні кастети. Протягом наступних 30 років популярність їх у Європі почала зростати, і вони стали широко застосовуватися у вуличних бійках.
Наприкінці 19 століття набули особливої популярності в Сполучених Штатах. Вони стали популярною зброєю серед бандитів і грабіжників, а також серед людей, які шукали засіб самозахисту. Кастети різних дизайнів і форм були доступні на ринку і продавалися в магазинах.
Кастети мають давню історію, починаючи з античності й до сучасності. Їх використовували як зброю гладіаторів, моряків, бандитів і людей, які шукали засіб самозахисту. Сучасні варіанти кастетів націлені на самозахист і тренувальні цілі, а також на колекціонування.