Hội đầu pháo Kỳ Lừa ở thị xã Lạng Sơn có từ thế kỷ 17, gắn với một truyền thuyết lịch sử thể hiện lòng nghĩa hiệp của viên tướng thời Hậu Lê là Thần Công Tài. Lễ hội bắt đầu từ ngày 22 tháng giêng âm lịch bằng việc rước kiệu từ đền Kỳ Cùng lên đền Tả Phủ và kết thúc vào ngày 27 sau khi đã diễn ra hội cướp đầu pháo cùng nhiều trò chơi dân gian khác.
Hằng năm, vào dịp đầu xuân - bắt đầu từ ngày 22 đến 27 tháng giêng (âm lịch) tại thị xã Lạng Sơn lại diễn ra lễ hội Đầu pháo Kỳ Lừa với quy mô, hình thức và nội dung phong phú như múa sư tử, chơi cờ người, đặc biệt là trò chơi cướp đầu pháo và rước kiệu từ đền Kỳ Cùng lên đền Tả Phủ và quay lại. Sở dĩ nội dung rước kiệu được coi là nội dung chính; quan trọng và hấp dẫn nhất, vì theo truyền thuyết sự việc trên có mối quan hệ mật thiết với nhau giữa đền Kỳ Cùng và đền Tả Phủ.
Theo lịch sử ghi lại đền Tả Phủ được xây dựng từ năm Chính Hòa thứ 4 (1683) để thờ viên tướng thời Hậu Lê là Thân Công Tài - chức Tả đô đốc Hán quận công, vì thế nhân dân địa phương ngày xưa quen gọi là đền Tả Phủ. Ông Thân Công Tài là người có học, có tài được Trịnh Tạc trọng dụng bổ nhiệm lên Lạng Sơn làm phó tướng nhận chức Đô đốc giúp việc cho Vi Đức Thắng, trấn giữ nơi biên thùy. Trước kia, khu Kỳ Lừa khi ông chưa khai phá mở chợ thường hay bị lũ lụt ngập úng, khi dựng chợ ông cho mua sắm lễ đưa xuống đền Kỳ Cùng để cúng thần Giao Long (thần sông nước). Từ đó, chợ Kỳ Lừa không bị ngập úng nữa, nhân dân địa phương yên tâm họp chợ và họ cho rằng ông Thân Công Tài được thần sông phù hộ để lo việc đời, nên sau khi ông mất, nhân dân lập miếu thờ ông; hằng năm tổ chức lễ hội, rước thần Giao Long lên đền Tả Phủ, nhằm mục đích cầu mong thần Giao Long luôn phù hộ cho ông Thân Công Tài và nhân dân địa phương luôn gặp những điều may mắn, có được cuộc sống yên vui tốt lành.
Đền Kỳ Cùng xây dựng từ bao giờ cho đến nay chưa có tài liệu nào xác định chứng minh chính xác, theo hồi ức của nhân dân thì đền có từ rất lâu và đã qua nhiều lần sửa chữa. Đền Kỳ Cùng hiện nay thờ Tuần Tranh. Tương truyền, ông Tuần Tranh là một vị quan dưới thời nhà Trần, được cử lên Lạng Sơn đánh giặc, trấn ải biên thùy. Do chủ quan, nên binh sĩ của ông hay bị ốm đau, lúc lâm trận với giặc thường hay bị thương vong, thiệt hại. Sợ quay về triều đình sẽ bị phạt nặng, bước đường cùng ông nhảy xuống sông tự vẫn và con sông này được gọi là sông "Kỳ Cùng". Khi ông Thân Công Tài lên Lạng Sơn nhậm chức, được biết chuyện ông đã viết sớ về tâu với Vua để minh oan cho ông Tuần Tranh. Trong tiềm thức của mình, nhân dân địa phương cảm phục lòng nghĩa hiệp của ông Thân Công Tài nên đã mở hội hằng năm và rước ông Tuần Tranh (đền Kỳ Cùng) lên tạ nghĩa với ông Thân Công Tài (đền Tả Phủ). Vì vậy mới có nội dung rước kiệu từ đền Kỳ Cùng lên đền Tả Phủ.
Hội Đầu pháo Kỳ Lừa bắt đầu từ sáng ngày 22 tháng giêng (âm lịch). Cùng với đoàn người trang phục lộng lẫy, đủ các loại cờ, võng lọng, một tốp thanh niên trai tráng y phục chỉnh tề gọi là "Đồng nam" để khiêng kiệu; một tốp thiếu niên vận đồng phục gọi là "Đồng tử" khiêng đỉnh được đội sư tử múa vây quanh, đi qua các khu dãy phố Kỳ Lừa rồi thẳng xuống đền Kỳ Cùng đón rước ông Tuần Tranh (hay Thần sông) lên kiệu. Đúng giờ ngọ bắt đầu làm lễ. Lễ xong, đoàn người rước kiệu đến đền Tả Phủ hạ kiệu làm lễ tạ ơn.
Bước sang ngày 23, 24 tháng giêng, lễ hội đầu pháo bắt đầu. Đầu pháo có gắn đầu kim loại, cuốn vải cẩn thận, chuẩn bị xong rước ra sau đền làm lễ cúng thần, xong đầu pháo được đem ra đốt. Khi pháo nổ, vòng kim loại hất lên không trung rơi xuống, mọi người tranh nhau cướp. Những ai tranh được đầu pháo thì đem đến trình với thần đền và Ban Tổ chức lễ hội lấy phần thưởng, phần thưởng ở đây thường là bức tranh vẽ khung cảnh hữu tình và có các chữ Phúc - Lộc - Thọ (hình đầu pháo). Người ta đem vật này về thờ tại gia đình và tin rằng trong năm sẽ làm ăn may mắn bình yên. Trong thời gian hội có các đầu pháo theo thứ tự 1, 2, 3, 4, 5, 6, 8, 9, 10 (không có số 7 vì kiêng). Cùng với phần thưởng được trao, những người thắng cuộc thường mang đầu pháo về cầu may, mỗi đầu pháo chỉ được thờ một năm. Đến mùa hội sang năm những gia đình có đầu pháo đem ra đền làm lễ tạ rồi trao lại đầu pháo cho đền.
27 tháng giêng là ngày kết thúc hội. Cũng vào giờ ngọ, mọi người tập trung ở đền Tả Phủ làm lễ tạm biệt ông Tuần Tranh. Sau tuần lễ, kiệu bắt đầu được rước trở lại đền Kỳ Cùng với nghi thức ban đầu.
Hòa với trò chơi cướp đầu pháo, lễ rước kiệu, ở đây còn có nhiều hình thức vui chơi như thi đấu cờ người, múa sư tử, hát giao duyên (hát sli, hát lượn)... tạo nên không khí nhộn nhịp vui tươi cho cả một vùng thị xã trong những ngày xuân.