Lượng dữ liệu thô lưu trữ trong cơ sở dữ liệu của công ty đang bùng nổ. Từ hàng nghìn giao dịch điểm bán và mua thẻ tín dụng đến hình ảnh từng pixel. Dữ liệu về khách hàng và khách hàng tiềm năng của họ được lưu trữ trong kho dữ liệu. Tuy nhiên rất ít doanh nghiệp có thể sử dụng tối ưu nguồn dữ liệu tiềm năng này. Lúc này, điều các doanh nghiệp thực sự cần là phải khai phá dữ liệu, phân tích dữ liệu! Vậy khai phá dữ liệu thực sự là gì? Cách thực hiện ra sao? Khai phá dữ liệu trong Marketing đem lại những lợi ích gì cho các doanh nghiệp?
Khai phá dữ liệu là gì?
Khai phá dữ liệu (Data Mining) là một kỹ thuật phân tích marketing, là quá trình được các công ty sử dụng để biến dữ liệu thô thành thông tin hữu ích. Bằng cách sử dụng phần mềm để tìm kiếm các mẫu trong bộ dữ liệu lớn, doanh nghiệp có thể tìm hiểu thêm về khách hàng của mình. Từ đó phát triển các chiến lược marketing hiệu quả hơn, tăng doanh số và giảm chi phí. Khai phá dữ liệu phụ thuộc vào việc thu thập dữ liệu, lưu kho cơ sở dữ liệu và xử lý máy tính hiệu quả.
Khai phá dữ liệu là một công nghệ mới, mạnh mẽ, có tiềm năng lớn. Nó giúp các công ty tập trung vào thông tin quan trọng nhất trong dữ liệu họ đã thu thập về hành vi của khách hàng và khách hàng tiềm năng của họ. Nó phát hiện ra thông tin trong dữ liệu mà các truy vấn và báo cáo không thể tiết lộ một cách hiệu quả.
Quy trình khai phá dữ liệu trong Marketing
1. Làm sạch dữ liệu
Làm sạch dữ liệu là bước đầu tiên để phân tích dữ liệu. Dữ liệu trong thế giới thực thường không đầy đủ, nhiều sạn và không nhất quán. Dữ liệu có sẵn từ các nguồn thứ cấp có thể thiếu các giá trị thuộc tính, dữ liệu quan tâm, … Ví dụ: bạn muốn dữ liệu nhân khẩu học của khách hàng. Nếu dữ liệu khả dụng không bao gồm các thuộc tính cho giới tính hoặc độ tuổi của khách hàng thì sao? Do đó, dữ liệu là không đầy đủ. Đôi khi dữ liệu có thể chứa lỗi hoặc ngoại lệ. Một ví dụ như thuộc tính tuổi lại có giá trị 200. Rõ ràng giá trị tuổi là sai trong trường hợp này. Dữ liệu cũng có thể không nhất quán. Ví dụ, tên của một nhân viên có thể được lưu trữ khác nhau trong các bảng dữ liệu hoặc tài liệu khác nhau. Nếu dữ liệu không sạch, kết quả khai phá dữ liệu sẽ không đáng tin cậy cũng như không chính xác.
Làm sạch dữ liệu bao gồm một số kỹ thuật như điền vào các giá trị còn thiếu bằng tay, kết hợp kiểm tra máy tính và con người, … Đầu ra của quy trình làm sạch dữ liệu là dữ liệu được làm sạch đầy đủ.
2. Tích hợp dữ liệu
Tích hợp dữ liệu là quá trình dữ liệu từ các nguồn dữ liệu khác nhau được tích hợp thành một. Dữ liệu nằm ở các định dạng khác nhau ở các vị trí khác nhau. Dữ liệu có thể được lưu trữ trong cơ sở dữ liệu, tệp văn bản, bảng tính, tài liệu, khối dữ liệu, Internet, v.v. Tích hợp dữ liệu là một nhiệm vụ thực sự phức tạp và khó khắn. Vì dữ liệu từ các nguồn khác nhau sẽ không khớp với nhau. Giả sử một bảng A chứa một thực thể có tên customer_id trong đó một bảng B khác chứa một thực thể có tên là số. Thực sự rất khó để đảm bảo rằng cả hai thực thể này có cùng giá trị hay không. Big data có thể được sử dụng hiệu quả để giảm lỗi trong quá trình tích hợp dữ liệu.
Một vấn đề khác phải đối mặt là dư thừa dữ liệu. Cùng một dữ liệu có thể có sẵn trong các bảng khác nhau trong cùng một cơ sở dữ liệu. Hoặchậm chí trong các nguồn dữ liệu khác nhau.
3. Lựa chọn dữ liệu
Quá trình khai phá dữ liệu đòi hỏi khối lượng lớn dữ liệu lịch sử để phân tích. Vì vậy, thông thường kho lưu trữ dữ liệu với dữ liệu tích hợp chứa nhiều dữ liệu hơn thực tế yêu cầu. Từ dữ liệu có sẵn, dữ liệu quan tâm cần phải được chọn và lưu trữ.
Lựa chọn dữ liệu là quá trình mà dữ liệu liên quan đến phân tích được lấy từ cơ sở dữ liệu.
4. Chuyển đổi dữ liệu
Chuyển đổi dữ liệu là quá trình biến đổi và hợp nhất dữ liệu thành các dạng phù hợp để khai phá. Chuyển đổi dữ liệu thường bao gồm chuẩn hóa, tổng hợp, tổng quát hóa, …
Ví dụ: một bộ dữ liệu có sẵn là “-5, 37, 100, 89, 78” có thể được chuyển đổi thành “-0,05, 0,37, 1,00, 0,89, 0,78”. Ở đây dữ liệu trở nên phù hợp hơn cho khai phá dữ liệu. Sau khi tích hợp dữ liệu, dữ liệu có sẵn đã sẵn sàng để khai phá dữ liệu.
5. Khai phá dữ liệu
Khai phá dữ liệu là quá trình cốt lõi. Một số phương pháp phức tạp và thông minh được áp dụng để trích xuất các mẫu từ dữ liệu. Quá trình khai phá dữ liệu bao gồm một số nhiệm vụ như liên kết, phân loại, dự đoán, phân cụm, phân tích chuỗi thời gian, …
6. Đánh giá mẫu
Đánh giá mẫu xác định các mẫu thực sự thú vị đại diện cho kiến thức dựa trên các loại biện pháp thú vị khác nhau. Một mô hình được coi là thú vị nếu nó có khả năng hữu ích, dễ hiểu bởi con người, xác nhận một số giả thuyết rằng ai đó muốn xác nhận hoặc hợp lệ trên dữ liệu mới với một mức độ chắc chắn.
Xem thêm: Các phương pháp chọn mẫu trong nghiên cứu thị trường
7. Báo cáo trực quan
Thông tin khai phá từ dữ liệu cần phải được trình bày cho người dùng theo cách hấp dẫn. Các kỹ thuật biểu diễn và trực quan hóa kiến thức khác nhau được áp dụng để cung cấp đầu ra của việc khai phá dữ liệu cho người dùng. Các sơ đồ, bảng biểu là cần thiết để ban lãnh đạo các doanh nghiệp có thể nắm được trực quan kết quả của khai phá dữ liệu. Qua đó xem xét các đề xuất, đưa ra các chiến lược phù hợp.
>>> Xem thêm: 5 lý do vì sao bạn nên nghiên cứu thị trường
Kỹ thuật khai phá dữ liệu
1. Phân loại (Classification)
Phân tích này được sử dụng để lấy thông tin quan trọng và có liên quan về dữ liệu và siêu dữ liệu. Phương pháp khai phá dữ liệu này giúp phân loại dữ liệu trong các lớp khác nhau. Có thể dựa trên định hướng có sẵn từ nhà phân tích.
2. Phân cụm (Clustering)
Phân tích phân cụm là một kỹ thuật khai phá dữ liệu để xác định các cụm dữ liệu có đặc điểm tương đồng. Quá trình này giúp hiểu được sự khác biệt và tương đồng giữa các dữ liệu.
3. Hồi quy (Regression)
Phân tích hồi quy là phương pháp khai phá dữ liệu để xác định và phân tích mối quan hệ giữa các biến. Nó được sử dụng để xác định khả năng của một biến cụ thể, với sự có mặt của các biến khác. Hồi quy giúp xác định xem giữa các biến khác nhau thì có tác động hay ảnh hưởng như nào lên biến khác của mô hình.
4. Association Rules
Kỹ thuật khai phá dữ liệu này giúp tìm ra mối liên hệ giữa hai hoặc nhiều iterm. Nó giúp phát hiện ra một mẫu ẩn trong tập dữ liệu.
5. Phát hiện bên ngoài (Outer detection)
Loại kỹ thuật khai phá dữ liệu này đề cập đến việc quan sát các mục dữ liệu trong bộ dữ liệu không khớp với mẫu dự kiến hoặc hành vi dự kiến. Kỹ thuật này có thể được sử dụng trong nhiều lĩnh vực khác nhau, chẳng hạn như xâm nhập, phát hiện, gian lận hoặc phát hiện lỗi, … Phát hiện bên ngoài còn được gọi là Phân tích ngoại lệ hoặc phát hiện bất thường.
6. Mô hình tuần tự (Sequential Patterns)
Kỹ thuật khai phá này giúp khám phá hoặc xác định các mô hình hoặc xu hướng tương tự trong dữ liệu giao dịch trong một thời gian nhất định.
7. Dự đoán (Prediction)
Dự đoán đã sử dụng kết hợp các kỹ thuật khai phá khác như xu hướng, mô hình tuần tự, phân cụm, phân loại, …. Nó phân tích các sự kiện hoặc trường hợp trong quá khứ theo đúng trình tự để dự đoán sự kiện trong tương lai. Mô hình dự đoán thường được các doanh nghiệp sử dụng để dự đoán hành vi mua hàng hay rời bỏ của khách hàng. Từ đó đưa ra được những đề xuất cải thiện hay duy trì.
>>> Khóa học về khai phá và phân tích dữ liệu miễn phí
Các công cụ hỗ trợ khai phá dữ liệu
Dưới đây là một số công cụ khai phá dữ liệu phổ biến được sử dụng rộng rãi tại các doanh nghiệp ở Việt Nam:
SPSS Modeler của IBM
IBM SPSS là bộ phần mềm do IBM sở hữu , được sử dụng để khai thác dữ liệu & phân tích văn bản để xây dựng các mô hình dự đoán.
SPSS Modeler có giao diện trực quan cho phép người dùng làm việc với các thuật toán khai thác dữ liệu mà không cần lập trình. Nó loại bỏ sự phức tạp không cần thiết phải đối mặt trong quá trình biến đổi dữ liệu và để dễ sử dụng các mô hình dự đoán.
Ngôn ngữ R
Ngôn ngữ R là một công cụ nguồn mở cho tính toán và đồ họa thống kê. R có nhiều loại thống kê, kiểm tra thống kê cổ điển, phân tích chuỗi thời gian, phân loại và kỹ thuật đồ họa. Nó cung cấp cơ sở lưu trữ và lưu trữ dữ liệu hiệu quả. Xem bài viết về phân tích dữ liệu bằng ngôn ngữ R.
Ngôn ngữ Python
Có sẵn như là một ngôn ngữ nguồn mở và miễn phí, Python thường được so sánh với R để dễ sử dụng. Không giống như R, đường cong học tập của Python có xu hướng ngắn đến mức nó trở nên dễ sử dụng. Nhiều người dùng thấy rằng họ có thể bắt đầu xây dựng bộ dữ liệu và thực hiện phân tích mối quan hệ cực kỳ phức tạp trong vài phút. Các trường hợp trực quan hóa dữ liệu trường hợp sử dụng kinh doanh phổ biến. Miễn là bạn cảm thấy thoải mái với các khái niệm lập trình cơ bản như biến, kiểu dữ liệu, hàm, điều kiện và vòng lặp.
Weka của Đại học Waikato, New Zealand
Chương trình được viết bằng Java. Nó chứa một tập hợp các công cụ và thuật toán trực quan để phân tích dữ liệu và mô hình dự đoán kết hợp với giao diện người dùng đồ họa. Weka hỗ trợ một số tác vụ khai thác dữ liệu tiêu chuẩn. Cụ thể hơn là xử lý trước dữ liệu, phân cụm, phân loại, hồi quy, trực quan hóa và lựa chọn tính năng.
Tableau
Phần mềm trực quan hóa dữ liệu cho phép người dùng kết nối trực tiếp với kho dữ liệu và hình khối. Kho dữ liệu là một nền tảng ổn định của dữ liệu hợp nhất. Giao dịch và có tổ chức của một công ty được quản lý tách biệt với cơ sở dữ liệu hoạt động của công ty. Tableau là một trong những công cụ hiệu quả nhất để khai thác dữ liệu trong thương mại điện tử. Nó giúp tối ưu hóa nhiệm vụ Trực quan hóa dữ liệu, tăng hiệu quả và phân tích thời gian thực.
>>> Xem thêm: Các công cụ phân tích dữ liệu
Ví dụ về ứng dụng của khai phá dữ liệu
Khả năng dự đoán của khai phá dữ liệu đã thay đổi thiết kế các chiến lược kinh doanh. Bây giờ, bạn có thể hiểu hiện tại để dự đoán tương lai. Đây là một số ví dụ về khai phá dữ liệu trong ngành công nghiệp hiện tại.
Ứng dụng trong Marketing
Khai phá dữ liệu được sử dụng để khám phá cơ sở dữ liệu ngày càng lớn, cải thiện phân khúc thị trường. Bằng cách phân tích mối quan hệ giữa các tham số như tuổi của khách hàng, giới tính, thị hiếu, … có thể đoán hành vi của họ để chỉ đạo các chiến dịch khách hàng thân thiết. Khai phá dữ liệu trong marketing cũng dự đoán người dùng nào có khả năng hủy đăng ký dịch vụ, họ quan tâm đến điều gì dựa trên tìm kiếm của họ hoặc danh sách gửi thư nên bao gồm để đạt được tỷ lệ phản hồi cao hơn.
Ứng dụng trong bán lẻ
Ví dụ, các siêu thị sử dụng mô hình mua chung để xác định các hiệp hội sản phẩm và quyết định cách đặt chúng trên lối đi và trên kệ. Khai phá dữ liệu cũng phát hiện những ưu đãi nào được khách hàng đánh giá cao nhất hoặc tăng doanh số tại hàng thanh toán.
Ứng dụng trong ngân hàng
Các ngân hàng sử dụng khai phá dữ liệu để hiểu rõ hơn rủi ro thị trường. Nó thường được áp dụng cho xếp hạng tín dụng và cho các hệ thống chống gian lận thông minh để phân tích các giao dịch, giao dịch thẻ, mô hình mua hàng và dữ liệu tài chính của khách hàng. Khai phá dữ liệu cũng cho phép các ngân hàng tìm hiểu thêm về sở thích hoặc thói quen trực tuyến của khách hàng. Từ đó tối ưu hóa lợi nhuận cho các chiến dịch marketing của họ, nghiên cứu hiệu suất của các kênh bán hàng hoặc quản lý nghĩa vụ tuân thủ quy định.
Ứng dụng trong ngành dược phẩm
Khai phá dữ liệu cho phép chẩn đoán chính xác hơn. Có tất cả thông tin của bệnh nhân, chẳng hạn như hồ sơ y tế, khám thực thể và mô hình điều trị, cho phép các phương pháp điều trị hiệu quả hơn được chỉ định. Nó cũng cho phép quản lý tài nguyên y tế hiệu quả, hiệu quả và tiết kiệm chi phí hơn bằng cách xác định rủi ro, dự đoán bệnh tật ở một số phân khúc dân số hoặc dự báo thời gian nhập viện. Phát hiện gian lận và bất thường, và tăng cường mối quan hệ với bệnh nhân. Có kiến thức nâng cao về nhu cầu của họ cũng là những lợi thế của việc sử dụng khai phá dữ liệu trong y học.
Ứng dụng trong truyền hình và phát thanh
Có những mạng áp dụng khai phá dữ liệu thời gian thực để đo truyền hình trực tuyến (IPTV) và khán giả radio của họ . Các hệ thống này thu thập và phân tích, một cách nhanh chóng, thông tin ẩn danh từ chế độ xem kênh, chương trình phát sóng và lập trình. Khai phá dữ liệu cho phép các mạng đưa ra các đề xuất được cá nhân hóa cho người nghe đài và người xem TV. Cũng như tìm hiểu sở thích và hoạt động của họ trong thời gian thực và hiểu rõ hơn hành vi của họ. Mạng cũng có được kiến thức có giá trị cho các nhà quảng cáo của họ. Những người sử dụng dữ liệu này để nhắm mục tiêu khách hàng tiềm năng của họ chính xác hơn.
>> Xem thêm:
Hành vi tiêu dùng của Gen Z trong môi trường kỹ thuật số đang thay đổi
Lợi ích của khai phá dữ liệu:
- Kỹ thuật khai phá giúp các công ty có được thông tin dựa trên kiến thức.
- Sử dụng dữ liệu giúp tổ chức thực hiện các điều chỉnh có lợi trong hoạt động và sản xuất.
- Giải pháp hiệu quả và tiết kiệm chi phí so với các ứng dụng dữ liệu thống kê khác.
- Khai phá dữ liệu giúp quá trình ra quyết định.
- Tạo điều kiện dự đoán tự động về xu hướng và hành vi cũng như tự động phát hiện các mẫu ẩn
- Nó có thể được thực hiện trong các hệ thống mới cũng như các nền tảng hiện có
- Đây là quá trình nhanh chóng giúp dễ dàng phân tích lượng dữ liệu khổng lồ trong thời gian ngắn hơn.
Nhược điểm của khai phá dữ liệu
- Có nhiều khả năng các công ty có thể bán thông tin hữu ích của khách hàng của họ cho các công ty khác để lấy tiền. Ví dụ, American Express đã bán các giao dịch mua thẻ tín dụng của khách hàng của họ cho các công ty khác.
- Nhiều phần mềm khai phá khó vận hành và yêu cầu đào tạo trước để làm việc.
- Các công cụ khai phá khác nhau hoạt động theo cách khác nhau. Do các thuật toán khác nhau được sử dụng trong thiết kế của chúng. Do đó, việc lựa chọn công cụ khai phá dữ liệu chính xác là một nhiệm vụ rất khó khăn.
- Các kỹ thuật đôi khi không chính xác. Do đó nó có thể gây ra hậu quả nghiêm trọng trong một số điều kiện nhất định.
Nguồn: tổng hợp
>>> Xem thêm:
Nghiên cứu thị trường sơ cấp: Những điều căn bản Marketer phải biết
Nghiên cứu thị trường 101 – Bắt Insights nhờ phân tích đối thủ cạnh tranh
