硬度是指玉石抗外来作用力(如压、刻、磨)的能力。硬度越高，加工难度越大，玉石的品质也越好，另外很关键的就是还关系到宝石的耐久性，硬度越高耐久性越好，越不容易受到刻划破坏。如空气中粉尘杂质含有石英成分，如果是低硬度的宝石抛光面，由于经常受到空气中灰尘的撞击磨蚀，表面容易变“毛”，影响外表，而高硬度珠宝更容易保持外表光泽亮丽。
宝石硬度常用的是摩氏硬度，也称为相对硬度，是德国矿物学家摩斯根据自然界的10种标准矿物的相对硬度确定的级别。其中最高为金刚石（即钻石）10级，滑石最软，为1级。如果一种矿物硬度明显低于9级刚玉，却又高于8级黄玉，它的硬度则在8-9级之间，或是取近似值8.5，如祖母绿。在比较硬度时，我们还可以加入一些常见物质来做参考比较，如指甲2.5，铜针3，玻璃5-5.5，小刀5.5-6。
一般而言，宝石的摩氏硬度在7以上，如钻石、红宝石、蓝宝石、祖母绿、石榴石、托帕石等，如钻石硬度高达10级，为矿物之最，红蓝宝石也达到9级硬度，仅次于钻石。祖母绿为8.5，也是高硬度，金绿宝石中的猫眼和变石也在8级，可见世界上最贵重的宝石有一个共同点，就是高硬度，高耐久性。
玉石的硬度普遍低于7，这与玉石为多种矿物集合的结构有关，和单晶体矿物为主的宝石有很大区别，而摩氏硬度达到6-7之间已经属于较高硬度，如和田玉、翡翠、玛瑙；玉石硬度指标虽可通过仪器检测其内部晶体结构得知，但操作上一般多采用刻划硬度法。我国常见玉石的硬度介于4—6度之间，高于铜的硬度而低于玻璃的硬度。而翡翠的硬度为6.5至7，普遍高于其他玉石。清朝时期，一位知名外国矿物学家将中国市场最知名的两种玉石——和田玉和翡翠进行比较，经检测后发现翡翠硬度较高，将其命名为硬玉，和田玉硬度比之稍低，而将和田玉称为软玉，这种命名在西方一直沿用至今，而我们还是习惯称为翡翠和和田玉，这是后话。
其他玉石的硬度在4-6之间，基本上包括很多如玉石品种，如青金石、岫玉、汉白玉、孔雀石、萤石等。大部分印石硬度都低于4，因此方便于刻画，如寿山石、青田石、鸡血石。
