Sarah Carthen Watson bước vào quầy Hertz ở sân bay và thông tin của cô được quét qua hệ thống tự động để kiểm tra các rủi ro tài chính.
Watson đang nóng lòng lái xe về nhà để dự đám cưới một người bạn. Dù điểm tín dụng và số dư tài khoản ngân hàng của cô đều cao, luật sư 26 tuổi ở Anh vẫn bị từ Hertz từ chối cho thuê xe.
Cô đành bắt chuyến Uber đắt đỏ và hôm sau, khi trở lại sân bay, cô tới quầy hỏi nhà quản lý xe chuyện gì đã xảy ra. Cuộc trao đổi diễn ra căng thẳng. Người này đưa cho cô một tờ giấy in từ máy tính với nội dung “không thể cung cấp lý do cụ thể cho việc vì sao chúng tôi từ chối yêu cầu thanh toán bằng thẻ debit của bạn”.
Cô chìa tấm vé và đề nghị ông giải thích rõ hơn, vô tình làm đổ chai nước trên quầy. Người quản lý “lùi lại, tỏ vẻ sợ hãi”. Cô cảm thấy khó chịu và cho rằng ông ta “sợ người da màu”. Người này nói cô sẽ bị từ chối sử dụng mọi dịch vụ của hãng và gọi cảnh sát.
Kể từ đó, Watson nỗ lực tìm hiểu thông tin nào mà hệ thống tự động đã sử dụng để cho rằng cô tiềm ẩn nguy cơ tài chính. Liệu có phải cô là một phụ nữ, hay cô là người da màu, hay đơn giản đó là một lỗi trong hệ thống. Hertz không đưa ra bình luận dù Watson nói đã yêu cầu công ty xem lại cách cư xử của cô với nhân viên của họ và họ thừa nhận không thấy có gì sai trái.
Nhiều ngân hàng trên thế giới, trong đó có tại Anh, sử dụng hệ thống tự động để chấm điểm khách hàng. Ảnh: Telegraph.
Sự không rõ ràng của các hệ thống đánh giá tự động khiến chính phủ Anh yêu cầu các nhà nghiên cứu hiểu kỹ hơn về những thành kiến trong ngành công nghệ khi xây dựng các thuật toán. Tuy nhiên, báo cáo của Trung tâm Đổi mới, Dữ liệu và Đạo đức bị trì hoãn bởi đại dịch và sẽ được công bố cuối năm nay.
Nhiều năm qua, nhiều người tiêu dùng bị ảnh hưởng trước những quyết định tự động hóa. Trên lý thuyết, việc trao quyền chấm điểm ai có nguy cơ lặp lại lỗi, ai nổi trội trong một lĩnh vực nhất định hay ai có thể sẽ trả khoản nợ đúng hẹn… cho máy móc nghe khả thi và phù hợp bởi nó loại bỏ những thành kiến khi được đánh giá bởi con người.
Nhưng kể từ đó, thành kiến vẫn tiếp tục diễn ra.
Cuối 2019, David Heinemeier Hansson, Giám đốc công nghệ của Basecamp, phàn nàn Apple Card phân biệt giới tính. Cụ thể, ông được cấp hạn mức tín dụng cao gấp 20 lần vợ mặc dù cả hai có chung nhiều điều kiện và vợ ông thậm chí có điểm tín dụng cao hơn chồng. Sau khi phản ánh trên Twitter, Apple Card của vợ ông mới được tăng lên mức ngang bằng với chồng.
Steve Wonzniak, nhà đồng sáng lập Apple, cho biết điều tương tự xảy ra với vợ chồng ông. Dù không ai có tài sản riêng và có hạn mức giống nhau với nhiều loại thẻ, Apple Card lại cấp hạn mức chênh lệch tới 10 lần.
Sở quản lý Tài chính bang New York đã mở cuộc điều tra xem liệu Apple và đối tác của họ là Goldman Sachs có phân biệt giới tính hay không. Goldman khẳng định quyết định được đưa ra dựa trên điểm tín dụng chứ không liên quan tới giới tính hay sắc tộc, nhưng lại không giải thích được vì sao người vợ, vốn có điểm tín dụng cao hơn, lại có hạn mức thẻ thấp hơn.
Tình trạng này cho thấy sự thiên vị nghiêm trọng trong các thuật toán có thể gây bất lợi cho khách hàng ra sao, dù vô tình hay cố ý.
“Cần phải làm gì đó”, Giáo sư Paul Resnick tại Đại học Michigan (Mỹ) nói. “Cần có cơ chế cho sự minh bạch”.
Các nhà khoa học từ lâu đã cảnh báo, thuật toán có thể không phân biệt, nhưng dữ liệu mà nó sử dụng thì có. Ví dụ, nếu một ngân hàng có lịch sử cho người da trắng vay tiền và dùng dữ liệu đó để huấn luyện thuật toán, các hệ thống tự động sẽ có xu hướng cho nhóm này vay tiền hơn. Thuật toán hoạt động chính xác, nhưng không phải luôn luôn công bằng.
“Khi bạn tương tác với các hệ thống đưa ra lựa chọn tự động thay cho bạn, chúng có thể mắc sai lầm”. Giáo sư Resnick nói.
Giới chuyên gia lo ngại bản thân các ngân hàng cũng không xác định được mức độ của vấn đề vì hệ thống đã được huấn luyện bởi những bộ dữ liệu không hoàn chỉnh.
Châu An (theo Telegraph)
