Le drapeau des pirates est appelé le "pavillon noir". En anglais, il est appellé le "Jolly Roger". On suppose que cette expression proviendrait du surnom anglais "Old Roger" donné au diable, ou du français « joli rouge » qui désignait alors les drapeaux rouges des pirates français. Cependant aucune source atteste l'usage de l'expression « jolie rouge » par les francophones.
L'utilisation du pavillon noir est signalé pour la première fois en 1700 par un navire anglais attaqué au large de Santiago de Cuba par le pirate français Emmanuel Wynne.
Au 17ème et au 18ème siècle, les pirates hissaient souvent des pavillons noirs ou rouges au moment de l'abordage. Le pavillon servait à intimider les équipages pour qu'ils se rendent sans combattre, afin de capturer leur bateau et leur cargaison intacts.
Les drapeaux étaient souvent ornés de symboles macabres (têtes de mort, squelettes, sabres, etc.) et chaque équipage avait le sien. Les capitaines avaient souvent plusieurs pavillons : un pavillon national pour tromper l'adversaire, un drapeau noir ou blanc pour intimer l'ordre au bateau arraisonné de se rendre, et un drapeau rouge signifiant qu'il n'y aurait pas de quartiers. L'usage du drapeau pirate peut être vu comme une forme précoce de guerre psychologique.
La tête de mort et les tibias symbolisaient la mort, le sabre la force, la sablier parfois ailé symbolisait la fuite du temps qui restait à vivre pour les adversaires. On pouvait également voir d'autres symboles tels que des gouttes de sang ou bien encore un cœur percé d'une lance.