Hệ thống thu thập dữ liệu của Social Listening tool khủng và tinh vi đến mức nào?

Bài viết này là một trong series các bài viết cho thấy bức tranh thực sự về cách hoạt động của các social listening tool, đặc biệt là Buzzmetrics, một giải pháp lắng nghe và phân tích mạng xã hội hiện nay.

Bài viết này là một trong series các bài viết cho thấy bức tranh thực sự về cách hoạt động của các social listening tool, đặc biệt là Buzzmetrics, một giải pháp lắng nghe và phân tích mạng xã hội đang được dùng để theo dõi các chiến dịch và thương hiệu quản lý bởi các tập đoàn lớn Coca-Cola, Unilever, Mead Johnson và các Agencies global như Ogilvy, Maxus, Leo Burnett, Phibious, Performics… tại Việt Nam.

Social media theo khái niệm của Social Listening không chỉ bao gồm mạng xã hội, mà còn là tất cả các phương tiện truyền thông cho phép tương tác nhiều chiều, trong đó bao gồm diễn đàn, báo điện tử (phần bình luận), blogs, các trang review đánh giá của nguời tiêu dùng như Foody và các phần đánh giá của các trang Ecommerce như Lazada hay Tiki.

Social Listening là một mô hình kinh doanh biến thể của ngành nghiên cứu thị trường. Và cũng giống như các quy trình nghiên cứu thị trường truyền thống, social media research cũng phải trải qua 5 giai đoạn:

1. Thu thập dữ liệu

2. Xuất dữ liệu

3. Phân loại dữ liệu

4. Phân tích dữ liệu

5. Trình bày báo cáo nghiên cứu

hê thống thu thập dữ liệu _2

Trong đó, Thu thập dữ liệu là bước đầu tiên trong quá trình thực hiện nghiên cứu trên social media. Hiện tại hệ thống của Buzzmetrics đang thu thập 1,141,412 trang fanpages trên Facebook và các mạng xã hội, 211,571 Facebook groups, 1,240 diễn đàn, 3,067 báo điện tử, 138,114 Youtube channels, 219,691 Instagram users, các trang Review và Ecommerce, với tốc độ xử lý hàng triệu thảo luận mỗi ngày. Việc thu thập dữ liệu toàn bộ thị trường là cần thiết và cho phép Buzzmetrics thực hiện các nghiên cứu về xu hướng và ngành hàng. Quy mô đầu tư về công nghệ và phần cứng của Social Listening tool tương đương với các search engines và càng ngày càng tăng theo thời gian.

hê thống thu thập dữ liệu _3

Hiện nay có 2 phương pháp chính dùng để thu thập dữ liệu: API và Trang (Sites).

THU THẬP DỮ LIỆU BẰNG CỔNG GIAO THỨC LẬP TRÌNH (API)

Phương pháp này được áp dụng đối với các global social networks như Facebook, Google Plus, Youtube, Twitter , Instagram… trong đó các công cụ social listening sẽ kết nối với các API (Application Programming Interface - Giao diện lập trình ứng dụng) của các social networks và yêu cầu hệ thống trả về những bài viết có chứa keywords. Phương pháp này theo nguyên tắc cho phép lấy dữ liệu của toàn bộ social network, bao gồm các trang cá nhân, nhưng trên thực tế phụ thuộc vào sự hạn chế của các social networks này. Với việc Facebook hạn chế organic reach cho các chủ fanpage và các nhà quảng cáo, Facebook cũng không trả lại đầy đủ và nhất quán các bài viết cá nhân cho Social Listening tool qua API. Hiện tại không có một thống kê rõ ràng việc lấy dữ liệu bằng API có thể lấy được bao nhiêu % thảo luận.

THU THẬP DỮ LIỆU THEO SITES

Hệ thống Buzzmetrics sử dụng cơ chế thu thập dữ liệu theo trang (sites), trong đó hệ thống sẽ đi thu thập dữ liệu từ các nguồn dữ liệu theo trang như website báo điện tử, forum, Facebook fanpages, Youtube channels, Instagram pages,.... Phương pháp này giúp thu thập toàn bộ dữ liệu của các kênh được liệt kê. Việc thu thập dữ liệu được thực hiện bằng 2 cách: Tự động lan tỏa và Liệt kê danh sách trang (panel).

Thu thập theo phương pháp liệt kê trang:

Công đoạn xây dựng một social listening platform cho thị trường mới bắt đầu từ việc xây dựng một tổ hợp các trang fanpages mạng xã hội, báo điện tử, diễn đàn, blogs... của thị trường đó. Việc này thường tốn từ 6 tháng đến một năm. Từ danh sách các trang này, đội ngũ data team sẽ viết các con nhện (crawlers) để quét qua các trang liên tục và copy thảo luận người dùng về. Crawlers hành xử như một con người, tự động scan nội dung của trang, nhận điện đâu là bài viết (thread), nội dung của bài viết bao gồm bài viết đầu tiên (lead), tác giả (author), ngày giờ và các bình luận hay phản hồi (comments).

Khác với Search engine nhận diện toàn trang là một dòng dữ liệu, hệ thống Social Listening nhận diện mỗi comment là một dòng dữ liệu. Như hình minh họa dưới đây, bài viết này có 907 phản hồi, tương đương với hệ thống ghi nhận 908 dòng dữ liệu, hay 908 mentions, hay buzz, hay ý kiến người tiêu dùng. Crawlers chỉ có thể thấy những gì công chúng thấy, thu thập được những thảo luận để chế độ public, chứ không lấy được các thảo luận private, tuân thủ theo luật privacy. Tuy nhiên, crawlers có thể lấy được thảo luận trong closed Facebook group, bằng các đăng nhập bằng một member ID của group đó, nhưng việc này cần có sự đồng ý của admin của group.

hê thống thu thập dữ liệu _4

Hệ thống thu thập toàn bộ dữ liệu có trong trang từ quá khứ đến hiện tại và liên tục quay lại cập nhật các dữ liệu mới tạo ra trên trang cứ 15 phút đến 1 tiếng một lần.

hê thống thu thập dữ liệu _5

Phương pháp thu thập theo trang phụ thuộc vào 4 yếu tố: đường truyền internet, tốc độ trả dữ liệu của trang, sự nhận diện nội dung và cấu trúc trang của crawlers và khả năng ngăn chặn crawlers của trang. Các trang diễn đàn lớn thường có sự thay đổi về cấu trúc hàng năm nên khi crawlers khi gặp cấu trúc mới khác với thiết kế ban đầu thì sẽ dẫn đến việc thu thập bị gián đoạn. Đồng thời các publishers thường có cơ chế nhận diện và chặn việc thu thập dữ liệu của máy tính gây ảnh hưởng đến băng thông. Các crawlers cũng thường xuyên phải cập nhật và nhảy tính danh để vượt qua các cơ chế chặn này. Vì những lý do trên, việc thiếu hay gián đoạn dữ liệu là điều không thể tránh khỏi với các Social Listening tool nên ở Buzzmetrics, một đội ngũ lập trình viên data team phải làm việc liên tục để cập nhật crawlers, thực hiện các biện pháp xử lý ngoài tình huống chuẩn để đảm bảo đầy đủ dữ liệu cho khách hàng, đặc biệt trong các trường hợp chạy chiến dịch hay xử lý khủng hoảng.

Đây cũng là lý do chính các công cụ social listening nước ngoài hay các công cụ miễn phí như iSentia, Brandtology, Sysomos, Radiant6, mention.com không thể hoạt động hiệu quả ở Việt Nam do thường xuyên bị thiếu dữ liệu do việc thu thập danh sách sites không đủ, hoặc khi gặp một trong các vấn đề trên thì không có nhân sự để giải quyết ngay tức thì.

Thu thập trang tự động lan tỏa:

Việc thu thập trang tự động có thể được thực hiện bằng 2 cơ chế thông minh:

- Thu thập theo trend: Từ những chủ đề, xu hướng được nhắc đến nhiều nhất trên social media, hệ thống sẽ tự động phát hiện và thu thập các trang có chứa thảo luận về chủ đề đó. Ví dụ, khi có một sự kiện được báo chí đưa tin nhiều, hệ thống sẽ tự động phát hiện từ khóa về sự kiện đang được nhắc đến nhiều và đi khắp các phương tiện truyền thông xã hội để thu thập các trang có chủ đề thảo luận về từ khóa, bao gồm các trang Facebook, forums,...

- Thu thập theo cơ chế lan tỏa: Từ những trang/group đã thu thập được, hệ thống sẽ phát hiện và thu thập các page/group/user khác được trao đổi trong những trang này.

hê thống thu thập dữ liệu _6

Việc thu thập theo trend và theo cơ chế lan tỏa là 2 quá trình được thực hiện đồng thời, đảm bảo cho các chủ đề đang được thảo luận nhiều trên social media luôn nằm trong hệ thống trong thời gian sớm nhất và dữ liệu đầy đủ nhất.

Công nghệ social listening cũng như công nghệ search engine, đó là mô hình tổng hợp dữ liệu thị trường. Một công cụ social listening phải lưu trữ dữ liệu tối thiểu 2 năm để phục vụ các mục đích nghiên cứu. Áp lực lưu trữ và xử lý dữ liệu cũng tăng theo thời gian vì thế khoản đầu tư vào hệ thống cơ sở hạ tầng phần cứng cũng là rất lớn và liên tục.

Thông tin bài viết

Đừng bỏ lỡ bất kỳ insight nào!

Nhận cập nhật về các nghiên cứu mạng xã hội hữu ích

Đăng ký ngay

Bài viết liên quan

Thấu hiểu hành trình tìm trường mầm non song ngữ của phụ huynh trên mạng xã hội

Vốn dĩ, chủ đề giáo dục luôn được đặt lên hàng đầu đối với các bậc cha mẹ, nhất là những phụ huynh có con ở độ tuổi lần đầu đến lớp. Bên cạnh đó, với bối cảnh hậu đại dịch, cùng xu hướng trở lại trường học, thảo luận về ngành mầm non song ngữ hot hơn bao giờ hết trên mạng xã hội người dùng cha mẹ đặc biệt quan tâm đến việc tìm trường mầm non cho con. 

Đọc bài viết
Ecommerce Audit và Retail Audit liên hệ với nhau như thế nào?

Retail Audit là một công cụ nghiên cứu khá quen thuộc với các thương hiệu, được sử dụng để đo lường hiệu quả bán hàng trong môi trường bán lẻ. Tuy nhiên, Retail Audit chủ yếu tập trung đo lường tình hình hoạt động của các nhãn hàng trên kênh truyền thống và hiện đại. Hiện nay, theo xu hướng tất yếu cũng như được sự hỗ trợ bởi nhu cầu Go-online được thúc đẩy bởi COVID-19 và giãn cách xã hội,  hoạt động mua sắm online ngày càng đóng vai trò quan trọng & chiếm tỷ trọng lớn. Đặc biệt là một số ngành hàng như: thời trang, làm đẹp, điện tử, chăm sóc mẹ và bé… Vì thế, Ecommerce Audit sẽ giúp hoàn thiện bức tranh mua bán của toàn ngành hàng trên cả kênh offline và online.

Đọc bài viết
Ecommerce Audit (ECA) là gì?

E-commerce Audit - hay còn gọi là Nghiên cứu đo lường bán hàng trực tuyến - là việc thu thập và phân tích dữ liệu về tình hình hàng hóa của các cửa hàng trên sàn thương mại điện tử như: lượng hàng bán ra theo thời gian thực, giá & khuyến mãi, vị trí của hàng, số người theo dõi, bình luận của người dùng hay các phản hồi sau mua của người dùng.

Đọc bài viết
Tận dụng dữ liệu Social Listening cho Syndicated Research

Hiện nay, việc tiến hành nghiên cứu thị trường không chỉ là câu chuyện phát phiếu khảo sát hay phỏng vấn trực tiếp. Mạng xã hội ra đời, tiếp theo đó là các công cụ thu thập thảo luận mạng xã hội (tiêu biểu như Social Listening) đã đem lại một môi trường nghiên cứu linh hoạt hơn, đặc biệt là với các đề tài Syndicated Research. Câu hỏi đặt ra là: Sử dụng dữ liệu Social Listening để tạo ra các Syndicated Research như thế nào?

Đọc bài viết
Để không còn mập mờ số liệu báo cáo Campaign Tracking

Social Listening là loại hình nghiên cứu thực hiện bằng cách “lắng nghe” các thảo luận trên các phương tiện truyền thông xã hội. Việc xác định đúng các chỉ số Campaign Tracking ngay từ giai đoạn tiền chiến dịch có ý nghĩa quan trọng, vì sẽ giúp thương hiệu có định hướng rõ ràng cho ý tưởng sáng tạo. Hơn thế nữa, trong quá trình thực hiện chiến dịch, việc theo dõi liên tục các chỉ số này giúp điều chỉnh, tối ưu hóa và phân bổ nguồn lực phù hợp.

Đọc bài viết
Hoạt động phân phối Online - Thảo luận mạng xã hội có thể giúp được gì?

Quy trình mua hàng trên mạng có thể sẽ khác biệt rất nhiều so với quy trình mua xảy ra tại các cửa hàng thực tế. Các kênh Social Commerce (Fanpage của thương hiệu/ cửa hàng/ trang thương mại điện từ và các website E-commerce) có thể là nơi người tiêu dùng trực tiếp mua sản phẩm hoặc chỉ là nơi để người tiêu dùng tìm kiếm thông tin, tham khảo giá hoặc tìm đánh giá của người khác về sản phẩm.

Đọc bài viết
Nghiên cứu ngành hàng bia - Phần 1: Thấu hiểu về các dịp uống bia cùng social data

Ngành hàng bia là một trong những ngành hàng rất thú vị khi nghiên cứu thảo luận trên mạng xã hội. Bởi vì hiếm có ngành hàng nào mà khoảnh khắc sử dụng sản phẩm - dịp uống bia lại được người tiêu dùng chủ động chia sẻ tự nhiên như 1 phần đời sống tinh thần như vậy. Nghiên cứu này sẽ tập trung phân tích vào Dịp uống bia, một trong những góc nhìn thực tế, gần gũi với cuộc sống của người dùng nhất thông qua thảo luận tự nhiên của người dùng mạng xã hội (consumer voice).

Đọc bài viết
Mạng xã hội phát triển như thế nào (Phần 2) – Trưởng thành hóa Mạng xã hội

Facebook đang trở thành mạng xã hội cho tất cả mọi người, chứ không còn là nơi dành riêng nhóm người dùng trẻ tuổi. Facebook Việt Nam chưa có dấu hiệu bị mất nhóm người dùng trẻ tuổi. Tuy nhiên, nhóm người dùng trẻ 13-24 tuổi đang có tốc độ tăng trưởng chững lại.

Đọc bài viết
Social Success Factor - KPI mới cho social media marketing

Thông thường, các thương hiệu sẽ đặt mục tiêu cho các chiến lược marketing trên mạng xã hội bằng các chỉ số chung: Tổng lượng thảo luận, thị phần thảo luận, xu hướng thảo luận hay chỉ số cảm xúc… Rõ ràng, các chỉ số chung này sẽ không phản ánh đầy đủ: “Liệu thương hiệu đang làm tốt hay không làm tốt trên các yếu tố chiến lược” Vì thế, cần thiết các thương hiệu nên có những bộ KPIs riêng để đánh giá và phản ánh chính xác hơn hiệu quả hoạt động Marketing trên mạng xã hội. Từ đó, thương hiệu sẽ có cơ sở vững chắc hơn để ra quyết định, định hướng tốt hơn các hoạt động tiếp theo của mình.

Đọc bài viết
Mạng xã hội phát triển như thế nào (Phần 3) - Sự phân khúc mạng xã hội

Trên mạng xã hội, ranh giới về vị trí địa lý, độ tuổi, giới tính… thường sẽ không còn rõ ràng – đủ để tạo sự khác biệt về thái độ và hành vi nữa. Vì thế, cách phân khúc tập khách hàng thông thường và cách phân khúc tập khách hàng trên mạng xã hội cần có sự khác biệt.

Đọc bài viết
Mạng xã hội phát triển như thế nào (P1) – Ồn ào hơn bao giờ hết

Với hơn 55 triệu Active User mới trên Facebook, Mạng xã hội phát triển ngày càng lớn mạng và ồn ào hơn bao giờ hết. Với mức độ tăng trưởng cao như vậy, Facebook chắc chắn sẽ tiếp tục là trang mạng xã hội có lượng người dùng cao nhất, và có khả năng ảnh hưởng nhiều nhất đến người tiêu dùng Việt Nam trong các năm tới.

Đọc bài viết
Social media marketing là gì?

Social media marketing đang ngày trở nên phổ biến tại Việt Nam khi khách hàng đang ngày càng hoạt động tích cực. Tuy phổ biến nhưng các khái niệm về social media marketing vẫn còn đang bị nhầm lẫn. Làm sao để lên một campaign social media marketing hiệu quả, các bước chuẩn bị và theo dõi gốm có gì? Bài viết sẽ cùng bạn làm rõ các thắc mắc.

Đọc bài viết
Social media là gì?

Hàng loạt chuyên gia online, blogger hay các trang mạng đang đưa ra nhiều định nghĩa về “Social Media” khác nhau và không có sự thống nhất. Để đưa về cách hiểu đúng đắn cho social media, Buzzmetrics sẽ tìm hiểu các định nghĩa phổ biến và cơ bản nhất về thuật ngữ này.

Đọc bài viết
Giải pháp theo dõi sức khỏe thương hiệu toàn diện nhất trên social media

Giải pháp Always-On Brand Tracker của Buzzmetrics là gói giải pháp toàn diện cho tất cả các nhu cầu trên và hiện tại đang được hơn 200 thương hiệu hàng đầu Việt Nam như Coca-Cola, Unilever, Samsung, ... sử dụng. Giải pháp này bao gồm 4 modules trọn gói và không phải trả gì thêm với bất kỳ nhu cầu phát sinh nào.

Đọc bài viết
4 xu hướng Social Listening ứng dụng cho marketing năm 2016

Trên cương vị là những công ty tiên phong và dẫn đầu thị trường Social Listening, Buzzmetrics và YouNet Media đã tung ra thị trường ra những giải pháp công nghệ mang tính đột phá và giá trị gia tăng cao. Sau đây là tổng hợp một số xu hướng Social Listening đang phát triển của ngành này trong 2016.

Đọc bài viết
7 ngành hàng nổi bật trên mạng và các kênh phải chạy content

Để phục vụ cho công việc của content và media planner, công cụ lắng nghe mạng xã hội Buzzmetrics xin liệt kê các kênh có nhiều thảo luận nhất của từng ngành hàng để các bạn tham khảo.

Đọc bài viết
Làm thế nào để theo dõi chiến dịch marketing trên social media hiệu quả?

Social Listening giúp các nhà tiếp thị có thể lên kế hoạch, xây dựng content, theo dõi và điều chỉnh định hướng trong thời gian thực. Sau đây là những ứng dụng cụ thể của việc dùng Social Listening cho theo dõi chiến dịch marketing.

Đọc bài viết
Social listening và nghiên cứu thị trường truyền thống liên quan như thế nào?

Social Listening có thể được xem như là 1 biến thể của nghiên cứu thị trường. Nghiên cứu thị trường truyền thống có khả năng đào sâu dùng phương pháp hỏi nhưng làm trên diện rộng tốn chi phí cao và thời gian dài. Social Listening là lắng nghe và chỉ có thể phân tích nếu người tiêu dùng chia sẻ, nhưng lại có lợi thế đem lại kết quả trong thời gian thực và chi phí thấp. Với sự bùng nổ của mạng xã hội tại Việt Nam và tốc độ phát triển của Digital Marketing, Social Listening có lợi thế trong việc đo lường hiệu quả về mặt Communication cho campaigns và giúp thương hiệu có sự điều chỉnh nhanh chóng.

Đọc bài viết
Làm thế nào để tách biệt Paid, Owned và Earned media?

Việc tách biệt Paid, Owned và Earned media trong chiến dich social media ngày càng được các nhà quản lý chiến dịch quan tâm và yêu cầu social listening tool, mà cụ thể là Buzzmetrics thực hiện để có thể quản lý được chiến dịch marketing trên social media một cách hiệu quả hơn.

Đọc bài viết
Công thức hình thành trào lưu trên social media tại Việt Nam

Một trong những điều đánh dấu sự thành công của một chiến dịch là tạo được hiệu ứng trào lưu hưởng ứng trong đó có đậm chất hình ảnh của thương hiệu. Để làm được điều này có 2 cách: 1. Tìm ra một công thức hình thành trào lưu; hoặc 2. Ăn theo một trào lưu với phiên bản thương hiệu.

Đọc bài viết
7 thương hiệu nổi tiếng trên mạng không ngờ năm 2014

Công cụ lắng nghe mạng xã hội của Buzzmetrics xin góp vui những ngày trước Tết những thống kê thú vị về các thương hiệu trong tâm điểm của social media năm 2014.

Đọc bài viết
Thương hiệu nên đặt KPIs với Agency như thế nào cho chiến dịch social media marketing?

Buzzmetrics qua nhiều năm kinh nghiệm với các thương hiệu tinh nhuệ nhất trong lĩnh vực Digital Marketing xin giới thiệu các chỉ số KPIs theo chiều sâu của một chiến dịch social media marketing cho các thương hiệu tham khảo.

Đọc bài viết
Social Listening - nghiên cứu thị trường chi phí thấp cho thương hiệu

Mạng xã hội là một Focus Group hàng triệu người chứa đựng ý kiến của người tiêu dùng trong thời gian thực. Giá trị của Social Listening nằm ở việc đào sâu vào nội dung thảo luận của người tiêu dùng để tìm ra được Consumer Insight.

Đọc bài viết
Social listening Việt Nam - Ngành nào nên đầu tư?

Social listening ở Việt Nam vẫn chưa được các nhà tiếp thị quan tâm và đầu tư đúng mức. Theo thống kê của Buzzmetrics, có đến 130 tập đoàn lớn ở Việt Nam và chỉ gần 60 trong số này hiện đã thử hoặc đang dùng social media marketing và social listening. Vậy những ngành hàng nào nên đầu tư vào Social media Marketing và Social Listening?

Đọc bài viết
Tại sao phải tách biệt Paid và Earned posts trong một chiến dịch social media marketing

Marketers phải quản lý 3 loại media: Paid, Owned và Earned. Trong social media, khái niệm Paid, Owned và Earned cũng được áp dụng

Đọc bài viết
Các công cụ social listening thu thập dữ liệu như thế nào?

Đây là một trong series các bài viết cho thấy bức tranh thực sự về cách hoạt động thu thập dữ liệu của các công cụ lắng nghe và theo dõi mạng xã hội, đặc biệt là Buzzmetrics, một công cụ đang được dùng để theo dõi các chiến dịch và thương hiệu.

Đọc bài viết
Digital và Social Media có ROI cao nhất trong các loại Media

Hình thức digital media đang có tương tác cao như social và rich media có thể đem lại $1.48 lợi nhuận cho mỗi đô la chi phí theo như dữ liệu từ 300+ chiến dịch mà Nielsen đa đo lường

Đọc bài viết
Nhận tư vấn miễn phí
Theo dõi chúng tôi trên mạng xã hội