Re: [gtug-bsas] Anomalías estadísticas y Detección de fraude

Guau, Increíble ese documento. Muy muy buena info y muy clara.

Muchas, Muchas, Muchas gracias.

Juan S. Simon

2014/1/23 Daniel Fernandez <daniel.yogui@gmail.com>

Juan, tal vez esto te pueda servir por lo menos para tener una idea de las tecnicas existentes:

http://cm.bell-labs.com/cm/ms/departments/sia/doc/hmds.pdf (DETECTING FRAUD IN THE REAL WORLD)

Daniel Fernandez
daniel.yogui@gmail.com
MSN: data@datafull.com


"Nuestro mayor miedo no es ser inadecuados, nuestro mayor miedo es nuestra fuerza inconmensurable, es nuestra luz y no nuestra oscuridad lo que nos aterra. Vivir de una manera callada para que otros no se alteren con nuestra presencia no es lo correcto, todos estamos destinados a brillar como lo hacen los niños, y cuando nos permitimos brillar automáticamente dejamos que los que están a nuestro alrededor puedan brillar, así nos liberamos de nuestro miedo."

2014/1/15 Juan Simon <juan.simon@gmail.com>

Drools ya lo había visto, esper es algo nuevo para mi.

El tema de los eventos está bueno, es algo que ya tenemos resuelto usando RabbitMQ y algunos consumidores en diferentes colas, no es algo complejo en cuanto a eventos. 

Solo dos eventos: Conectado, Desconectado.

El tema es como detectar anomalías de uso o como generar estadísticas de uso que luego pueda utilizar para detectarlas.

Necesito hacer algún tipo de agregado ya que 20M de muestras por día es algo que luego se vuelve complejo de procesar dado que:

Si queremos hacer un calculo de distancia entre los eventos de las cuentas se vuelve un numero absurdo de cálculos que hay que hacer (4e+14).

Sin mencionar que almacenar esta información sin realizar agregados es muy costoso en un sistema que soporte cálculos en tiempo real. 

Claramente esto no es mi fuerte. Buscando entre el último mail y este encontré el siguiente sitio que tiene mucha info respecto a este tema. Voy a ver si logro encontrar algo que me pueda guiar en la dirección que necesito ir. Posiblemente alguien ya pasó por esto...

http://stats.stackexchange.com/

Gracias a los que contestaron, y si alguien tiene mas info o cualquier otra cosa es bienvenido :)

Juan S. Simon

2014/1/15 Matias Molinas <matias.molinas@gmail.com>

Hola

Creo que podes utilizar: http://esper.codehaus.org/ que es para CEP (Complex Event Processing)

Yo lo use hace años  y realmente funciona muy bien. Tenes que definir que patrones vas a detectar y creo que es lo mas indicado para tu problema.

No probe nunca esta otra opcion:

http://www.jboss.org/drools/drools-fusion.html

Pero parece que vale la pena evaluarla

Saludos!

2014/1/15 Juan Simon <juan.simon@gmail.com>

Es para un proyecto de telecomunicaciones

Juan S. Simon

2014/1/15 bmiguens@gmail.com <bmiguens@gmail.com>

Es para algún proyecto de trasabilidad?

On Wed, 15 Jan 2014 11:25:34 -0200
Juan Simon <juan.simon@gmail.com> wrote:

> Gentes,
> Me gustaría saber si alguien me puede orientar en el camino correcto. Me
> gustarían 3 cosas. Literatura al respecto, alguna solución ofrecida por
> Google y alternativas.
>
> Tengo el siguiente escenario:
> Un servicio que cada vez que es usado guarda información de el siguiente
> estilo:
>
> * Origen (representación de un lugar geográfico)
> * Destino (representación de un lugar geográfico)
> * Duración (en segundos)
> * Costo (en centavos)
> * Jurisdicción (A,B,C,D,E)
>
> Existen 20.000.000 detalles como ese por día distribuidos en aprox. 700
> cuentas.
>
> Estoy buscando la manera de poder detectar anomalías de uso en tiempo real.
> Ya sea que usan una cantidad de dinero fuera de lo habitual, los destinos
> son anormales, la distribución de jurisdicciones son anormales, las
> duraciones son anormales, o el simple total de usos es anormal.
>
> No puedo dar ejemplos mas específicos pero puedo decir con lo que cuento en
> este momento.
>
> Una imagen de las conexiones actuales (un promedio de 8.000) en Couchbase.
> Un evento de inicio y fin de las conexiones.
>
> Estoy viendo de hacer el análisis de los datos usando ElasticSearch, pero
> si alguien conoce alternativas mejores me gustaría escucharlas :)
>
>
> Desde ya muchas gracias,
> Juan S. Simon
>

> --
> Has recibido este mensaje porque estás suscrito al grupo "GTUG Buenos Aires | Google Developers Group" de Grupos de Google.
> Para anular la suscripción a este grupo y dejar de recibir sus correos electrónicos, envía un correo electrónico a gtug-bsas+unsubscribe@googlegroups.com.
> Para obtener más opciones, visita https://groups.google.com/groups/opt_out.

--
Has recibido este mensaje porque estás suscrito al grupo "GTUG Buenos Aires | Google Developers Group" de Grupos de Google.
Para anular la suscripción a este grupo y dejar de recibir sus correos electrónicos, envía un correo electrónico a gtug-bsas+unsubscribe@googlegroups.com.
Para obtener más opciones, visita https://groups.google.com/groups/opt_out.

--
Has recibido este mensaje porque estás suscrito al grupo "GTUG Buenos Aires | Google Developers Group" de Grupos de Google.
Para anular la suscripción a este grupo y dejar de recibir sus correos electrónicos, envía un correo electrónico a gtug-bsas+unsubscribe@googlegroups.com.
Para obtener más opciones, visita https://groups.google.com/groups/opt_out.

--
Has recibido este mensaje porque estás suscrito al grupo "GTUG Buenos Aires | Google Developers Group" de Grupos de Google.
Para anular la suscripción a este grupo y dejar de recibir sus correos electrónicos, envía un correo electrónico a gtug-bsas+unsubscribe@googlegroups.com.
Para obtener más opciones, visita https://groups.google.com/groups/opt_out.

--
Has recibido este mensaje porque estás suscrito al grupo "GTUG Buenos Aires | Google Developers Group" de Grupos de Google.
Para anular la suscripción a este grupo y dejar de recibir sus correos electrónicos, envía un correo electrónico a gtug-bsas+unsubscribe@googlegroups.com.
Para obtener más opciones, visita https://groups.google.com/groups/opt_out.

--
Has recibido este mensaje porque estás suscrito al grupo "GTUG Buenos Aires | Google Developers Group" de Grupos de Google.
Para anular la suscripción a este grupo y dejar de recibir sus correos electrónicos, envía un correo electrónico a gtug-bsas+unsubscribe@googlegroups.com.
Para obtener más opciones, visita https://groups.google.com/groups/opt_out.

--
Has recibido este mensaje porque estás suscrito al grupo "GTUG Buenos Aires | Google Developers Group" de Grupos de Google.
Para anular la suscripción a este grupo y dejar de recibir sus correos electrónicos, envía un correo electrónico a gtug-bsas+unsubscribe@googlegroups.com.
Para obtener más opciones, visita https://groups.google.com/groups/opt_out.